kafka重复消费的问题
①、kafka的顺序消息仅仅是通过partitionKey，将某类消息写入同一个partition，一个partition只能对应一个消费线程，以保证数据有序。②、除了发送消息需要指定partitionKey外，producer和consumer实例化无区别。
Kafka重复消费原因 底层根本原因：已经消费了数据，但是offset没提交。原因1：强行kill线程，导致消费后的数据，offset没有提交。
flink12版本中使用了flinksql，固定了groupid。但是因为重复上了两个相同任务之后，发现数据消费重复。下图sink中创建两个相同任务，会消费相同数据。两个任务同时处理，并没有在一个consume group里，所以不会共同消费。
Kafka就是使用了分区partition，通过将topic的消息打散到多个分区并分布保存在不同的broker上实现了消息处理不管是producer还是consumer的高吞吐量。
如果要保证一致性，需要生产者在失败后重试，不过重试又会导致消息重复的问题，一个解决方案是每个消息给一个唯一的id，通过服务端的主动去重来避免重复消息的问题，不过这一机制目前Kafka还未实现。
redis除了做缓存还能做什么
缓存缓存现在几乎是所有中大型网站都在用的必杀技，合理的利用缓存不仅能够提升网站访问速度，还能大大降低数据库的压力。Redis提供了键过期功能，也提供了灵活的键淘汰策略，所以，现在Redis用在缓存的场合非常多。
redis是内存数据库，访问速度非常快，所以能够解决的也都是这些缓存类型的问题，如下：会话缓存（Session Cache）最常用的一种使用Redis的情景是会话缓存（session cache）。
可以利用Redis的setnx功能来编写分布式的锁，虽然这个可能不是太常用。
允许开发人员在Java应用程序中使用Redis数据库。使用Jedis，开发人员可以方便地进行常见的Redis操作，如存储、检索和更新数据。此外，Jedis还支持连接池和数据序列化等功能，使其成为在Java应用程序中使用Redis的流行选择之一。
redis数据结构
1、String是redis中最基础的数据结构，你可以把它用作缓存最基础的kv（key-value）类型的缓存(value最大为512MB)，只需要把需要缓存的对象进行string的编解码即可。
2、二 list(双向链表)list是一个链表结构，主要功能是push、pop、获取一个范围的所有值等等。
3、list(双向链表)list是一个链表结构，主要功能是push、pop、获取一个范围的所有值等等。
4、String 字符串 字符串类型是 Redis 最基础的数据结构，首先键都是字符串类型，而且 其他几种数据结构都是在字符串类型基础上构建的，我们常使用的 set key value 命令就是字符串。
5、String——字符串 String 数据结构是简单的 key-value 类型，value 不仅可以是 String，也可以是数字（当数字类型用 Long 可以表示的时候encoding 就是整型，其他都存储在 sdshdr 当做字符串）。
6、数据结构 ps： redis对于浮点数类型也是作为字符串保存的，在需要的时候再转换为浮点数类型 从目前的版本（0）来看，List仅支持quickList（之前的版本有linked和ziplist这2种编码）。
Redis中hash、set、zset的底层数据结构原理
1、Redis中值的数据结构有String（字符串）、List（列表）、Hash（哈希）、Set（集合）和 Sorted Set（有序集合）五种，使用可参考 https：// 。
2、string作为redis中常用对象之一，普遍用于用户信息缓存等场景。
3、Redis的hash类型其实就是一个缩减版的redis。它存储的是键值对，将多个键值对存储到一个redis键里面。hash类型的底层主要也是基于字典这种数据结构来实现的。
4、String 字符串 字符串类型是 Redis 最基础的数据结构，首先键都是字符串类型，而且 其他几种数据结构都是在字符串类型基础上构建的，我们常使用的 set key value 命令就是字符串。
如何在linux中查询redis的数据
【答案】：B ps是linux系统中查看进程相关信息指令，常用参数有如 -A 显示所有程序。，-e 此参数效果和指定A参数相同。-f 显示UID，PPIP，C与STIME等信息。
使用redis-cli连接上redis其中一台：redis-cli-c-hxxx-p7001，输入clusterinfo查看当前集群的状态。可以使用trib的check检测的集群状态：redis-trib.rbcheckxxx：7001，Notall16384slotsarecoveredbynodes。
首先为了方便管理，将Redis文件中的conf配置文件和常用命令移动到统一文件中。
如何查看linux当前有哪些命令可用？ 如果是查看当前终端可以执行的内置命令，可以输入help命令查看。 如果是查看系统中可使用的命令。可以查看/bin、/sbin、/usr/bin、/usr/sbin这四个目录。
redis的key可以为空吗
1、并没有必然要多长的限制 ，尽量短就可以了！Redis key值是二进制安全的，这意味着可以用任何二进制序列作为key值，从形如”foo”的简单字符串到一个JPEG文件的内容都可以。空字符串也是有效key值。
2、Redis 中 string 类型数据结构在设置一对 key-value 的时候， value 中有空格。
3、可以。redis集群是可以设置为无密的，redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sortedset--有序集合)和hash（哈希类型）。
关于redis的value可以为空吗和redis的value可以存多大的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。