ES大数据量下的查询优化
1、优化2：补充检索内容 在销售机会查找的业务场景下，用户经常使用产品词、品牌词等进行搜索。为此，我们首先引入了商标数据，补充检索内容。
2、针对中文查询搜索，一定要安装ik分词，有ik_max_word和ik_smart，极大的提高的查询性能和准确度，否则就会逐个中文字进行匹配，耗费性能。
3、可以考虑全文检索。如果在 where 子句中使用参数，也会导致全表扫描。因为SQL只有在运行时才会解析局部变量，但优化程序不能将访问计划的选择推迟到运行时；它必须在编译时进行选择。
4、一天生成10G日志一般是因为部分应用日志使用不当，很多大数量的日志可以不打，比如大数据量的列表查询接口、报表数据、debug 级别日志等数据是不用上传到日志服务器，这些 即影响日志存储的性能，更影响应用自身性能。
5、所以，需要做一个策略，优先把资源让给查数，数据查完之后再去查页码。
6、优化查询条件，比如按照时间范围检索，每个月一个index，query可以指定到对应的index 另一个思路，应用层优化：缓存预读 对于频繁查询的数据，后台程序在ES启动之后就进行查询，将数据加载到内存。
目前常见的大数据存储方式有哪些?
1、大数据存储的三种方式有：不断加密：任何类型的数据对于任何一个企业来说都是至关重要的，而且通常被认为是私有的，并且在他们自己掌控的范围内是安全的。
2、HBase：基于HDFS，支持海量数据读写（尤其是写），支持上亿行、上百万列的，面向列的分布式NoSql数据库。天然分布式，主从架构，不支持事务，不支持二级索引，不支持sql。
3、数据存储的三种方式分别是：内存存储、硬盘存储和闪存存储。内存存储：内存存储是计算机中一种临时性的数据存储方式，其数据存储速度较快，但是存储容量比较有限。内存存储器通常被用来存储正在使用的程序和数据。
数据倾斜导致子任务积压
1、一个流程中，有两个重要子任务：一是数据迁移，将kafka实时数据落Es，二是将kafka数据做窗口聚合落hbase，两个子任务接的是同一个Topic GroupId。上游Topic的 tps高峰达到5-6w。
2、数据倾斜 表现： 任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成。因为其处理的数据量和其他reduce差异过大。
3、可以通过设备管理器更新驱动程序，或者从官方网站下载最新的驱动程序。检查打印机队列：如果打印任务积压在队列里，也会导致新的任务无法传输。可以打开“打印机和扫描仪”，检查当前打印任务的状态，并尝试取消积压的任务。
4、首先，要让孩子认识到这种行为的危害。孩子通常不会意识到拖延的恶习对他们的影响，因此家长应该向孩子解释这种行为的危害，例如会导致任务的积压、影响孩子的成绩等等。
基于Flink的实时计算平台的构建
1、消息队列的数据既是离线数仓的原始数据，也是实时计算的原始数据，这样可以保证实时和离线的原始数据是统一的。
2、Flink程序是由Stream和Transformation这两个基本构建块组成，其中Stream是一个中间结果数据，而Transformation是一个操作，它对一个或多个输入Stream进行计算处理，输出一个或多个结果Stream。 Flink程序被执行的时候，它会被映射为Streaming Dataflow。
3、Flink在德语中是快速和灵敏的意思 ，用来体现流式数据处理速度快和灵活性强等特点。
4、像Flink 、 Spark Streaming 这类包含状态的实时计算框架，需要恢复 Master 节点的同时还需要对其状态进行恢复，Master 状态信息包含一些必要的配置、以及对 Slave 节点状态管理的信息(如“某个 Slave 节点的状态快照所在的 HDFS 路径”)。
hbase落地到es的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于hbase regions in transition、hbase落地到es的信息别忘了在本站进行查找喔。