突破性能瓶颈!ElasticSearch百亿级数据检索优化案例
默认情况下 routing参数是文档ID (murmurhash3)，可通过 URL中的 _routing 参数指定数据分布在同一个分片中，index和search的时候都需要一致才能找到数据，如果能明确根据_routing进行数据分区，则可减少分片的检索工作，以提高性能。
索引优化主要是在 Elasticsearch 插入层面优化，如果瓶颈不在这块，而是在产生数据部分，比如 DB 或者 Hadoop 上，那么优化方向就需要改变下。
虽然ES 对 gateway 使用 NFS，iscsi 等共享存储的方式极力反对，但是对于较大量级的索引的副本数据，ES 从 5 版本开始，还是提供了一种节约成本又不特别影响性能的方式：影子副本(shadow replica)。
写入Lucene 的数据，并不是实时可搜索的，ES 必须通过 refresh 的过程把内存中的数据转换成 Lucene 的完整 segment 后，才可以被搜索。 默认1秒后，写入的数据可以很快被查询到，但势必会产生大量的 segment，检索性能会受到影响。
插入数据 搜索 relevance score算法，简单来说，就是计算出，一个索引中的文本，与搜索文本，他们之间的关联匹配程度。Elasticsearch使用的是 term frequency/inverse document frequency算法，简称为TF/IDF算法。
在启动master
1、master启用NTP服务 master启动ntp，并检查是否启动成功：在这里插入图片描述 master设置防火墙，放行NTP协议请求 关闭防火墙即可。（如果不关闭防火墙，那就需要进行其它设置。
2、第一种情况，检查有没有插优盘或者移动硬盘。第二种情况，把光盘从光驱取出来。
3、首先我们打开cpu z，查看当前的cpu频率等信息。可以看到，当前cpu 频率为1gHz，是比较低的。如下。首先我们打开ryzen master，看到如下界面后，点击确定。
4、GFS的名字空间逻辑上是从文件元数据到路径名映射的一个查用表。
hbase是否能取代mysql
可以代替mysql的 。将Hive与HBase整合在一起，使Hive可以读取HBase中的数据，让Hadoop生态系统中最为常用的两大框架互相结合，相得益彰。在Hive中创建HBase识别的表就可以替代mysql了。
MariaDB数据库管理系统是MySQL的一个分支，完全兼容MySQL，包括API和命令行，使之能轻松成为MySQL的代替品。在存储引擎方面，使用XtraDB来代替MySQL的InnoDB。另外又添加了一些功能，以支持本地的非阻塞操作和进度报告。
全不同应用场景吧，HBase速度比Hive快了不知道多少。HBase是非关系型数据库（KV型），对key做索引，查询速度非常快（相比较Hive），适合实时查询；而Hive是关系型数据结构，适合做后期数据分析。
由于HBase位于Hadoop框架之上，因此可以使用Hadoop MapReduce来快速、高效地生成索引表。数据维护。在关系数据库中，更新操作会用最新的当前值去替换记录中原来的旧值，旧值被覆盖后就不会存在。
hbase读写流程优化的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于hbase读写数据流程、hbase读写流程优化的信息别忘了在本站进行查找喔。