hbase的主要用途是什么
HBase的主要用途是作为大数据存储系统,用于存储非结构化和半结构化的稀疏数据。 大数据存储:HBase是一个分布式、可伸缩的大数据存储系统,能够存储数十亿行甚至更多的数据。
HBase 是典型的 NoSQL 数据库,通常被描述成稀疏的、分布式的、持久化的,由行键、列键和时间戳进行索引的多维有序映射数据库,主要用来存储非结构化和半结构化的数据。
用户画像 比如大型的视频网站,电商平台产生的用户点击行为、浏览行为等等存储在HBase中为后续的智能推荐做数据支撑。
hbase表的特性
1、hbase的特点:高可靠性、高性能、面向列、可伸缩的。HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
2、HBase采用了数据冗余和自动故障恢复的机制,可以保证数据的高可靠性。它将数据副本存储在不同的服务器上,并在主节点故障时自动切换到备用节点,确保数据的持久性和可用性。
3、稀疏性:由于 HBase 数据表中的列允许为空,并且空列不会占用存储空间,因此,数据表可以设计得非常稀疏。
4、Hbase是一种NoSQL数据库,这意味着它不像传统的RDBMS数据库那样支持SQL作为查询语言。
5、列簇:数据在行中被组织成列簇,每行有相同的列簇,但是在行之间,相同的列簇不需要有相同的列修饰符。在引擎中,HBase将列簇存储在它自己的数据文件中,所以,它们需要事先被定义,此外,改变列簇并不容易。
6、分区容错性:HBase是一个分布式数据库,在设计时就考虑了分区容错性,通过数据的分布式存储和副本机制来保证数据的可靠性和容错性。当系统出现分区时,HBase可以通过副本机制来保证数据的可用性。
深入理解HBASE(4)HFile
1、HFileBlock的格式会在下面介绍。 在hfile中,所有的索引和数据都是以HFileBlock的格式存在在hdfs中, HFile version2的Block格式如下两图所示,有两种类型,第一种类型是没有checksum;第二种是包含checksum。
2、hbase的核心数据结构为LSM树。LSM树分为内存部分和磁盘部分。内存部分是一个维护有序数据集合的数据结构。
3、/hbase/.archive HBase 在做 Split或者 compact 操作完成之后,会将 HFile 移到.archive 目录中,然后将之前的 hfile 删除掉,该目录由 HMaster 上的一个定时任务定期去清理。
4、hbase的hfile中的block要小的多)这样子足以读取该block到内存中,将该block进行遍历就能获取到需要的rowkey取出数据,以为这里的block只有64k这样的遍历非常迅速。这就是为什么hfile的data block要设置的如此之小的原因。
5、HFile HFile是Hbase在HDFS中存储数据的格式,它包含多层的索引,这样在Hbase检索数据的时候就不用完全的加载整个文件。
6、我们使用的Hbase0.2版本下,如果Hfile文件 跨越多个region,bulkload会自动地将Hfile文件split,但是对于每次retry只会将指定的Hfile文件split一次。
hbase定位一个记录的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于hbase如何定位一个user region?、hbase定位一个记录的信息别忘了在本站进行查找喔。