【golang】海量数据去重-布隆过滤器
1、在做域名爆破中，遇到了把一个300G的子域名json文件进行去重，一开始是考虑使用字典进行去重，但是数据量大了，会造成内存泄露。看网上资料介绍了一种方案，就是使用布隆过滤器。
Redis使用bitmap、zset、hash、list等结构完成骚操作?
实现方式：Redis实现布隆过滤器——借鉴Guava的BF算法：SpringBootx中使用Redis的bitmap结构（工具类）注意：bitmap使用存在风险，若仅仅计算hash值，会导致bitmap占用空间过大。一般需要对hash值进行取余处理。
Redis支持的五种数据类型包括String、Hash、List、Set、Zset，其中，String类型的值可以是字符串、数字或二进制，但值最大不能超过512MB。
redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。
Redis五种数据类型分别是string（字符串），hash（哈希），list（列表），set（集合）及sortset（有序集合）。字符串string字符串类型是Redis中最基本的数据存储类型，它是一个由字节组成的序列，在Rediss中是二进制安全的。
这一属性在添加修改元素的时候可以指定，每次指定后，zset会自动重新按新的值调整顺序。
Hash类型Redis能够存储key对多个属性的数据（比如useruname userpasswd），当然，你完成可以把这些属性以json格式进行存储，直接把它当作string类型进行操作，但这样性能上是对影响的，所以redis提出的Hash类型。
redis常用数据结构介绍和业务应用场景分析
String 字符串 字符串类型是 Redis 最基础的数据结构，首先键都是字符串类型，而且 其他几种数据结构都是在字符串类型基础上构建的，我们常使用的 set key value 命令就是字符串。
数据结构，可以存储一些集合性的数据。比如在微博应用中，可以将一个用户所有的关注人存在一个集合中，将其所有粉丝存在一个集合。
可用于缓存、事件发布订阅、高速队列等场景。
应用场景：消息队列，关注列表，粉丝列表等都可以用Redis的list结构来实现。描述： set是string类型的无序集合。
Redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，zset，hash等数据结构的存储。Redis支持数据的备份，即master-slave模式的数据备份。
Redis提供的incr命令来实现计数器功能，内存操作，性能非常好，非常适用于这些计数场景。分布式会话。
如何判断用户已读消息?(用户量1000万)
1、发送的消息会显示为白色或灰色，白色表示对方还未读，灰色表示对方已读。3如果对方开启了“阅读确认”功能，发送的消息会显示一个小眼睛图标，表示对方已经看过了。
2、建一张消息发送记录表message_record（id-主键，msg_id-消息id，user_id-用户id），使用user_id，msg_id建立唯一索引并且user_id在前，重要的事情说三遍（唯一索引并且user_id在前）。
3、已读标记：一些应用程序（如WhatsApp、微信等）会在对方已经阅读了你的信息后，在消息旁边显示一个已读标记，通常是一个对勾或者对方的头像。这表示对方已经看到了你的信息。
4、短信状态报告：类似于短信回执，但是短信状态报告可以告诉您更详细的信息，比如短信是否已经被送达、是否已经被阅读等。
5、这个看不出来。微信消息是不会显示对方已经阅读的，微信暂时还没有开通这个功能，所以不知道对方是否已经阅读了自己发送的消息。因为已读状态信息属于个人隐私，微信希望给用户一个轻松自由的沟通环境，所以微信不会传递已读状态。
6、微信并没有上线已读功能，因此用户无法知道对方是否已读，若用户发送消息后对方接着击打开了，在发送消息一方可能会显示对方正在输入，那么则说明对方已读了。
关于redisbitmap数据结构和redisson bitmap的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。