SparkSQL同步Hbase数据到Hive表
Spark SQL与Hive On Spark是不一样的。Spark SQL是Spark自己研发出来的针对各种数据源，包括Hive、JSON、Parquet、JDBC、RDD等都可以执行查询的，一套基于Spark计算引擎的查询引擎。
在开发过程中使用spark去读取hive分区表的过程中（或者使用hive on spark、nodepad开发工具），部分开发人员未注意添加分区属性过滤导致在执行过程中加载了全量数据，引起任务执行效率低、磁盘IO大量损耗等问题。
SparkSQL相较于Hive的另外一个优点，是支持大量不同的数据源，包括hive、json、parquet、jdbc等等。SparkSQL由于身处Spark技术堆栈内，基于RDD来工作，因此可以与Spark的其他组件无缝整合使用，配合起来实现许多复杂的功能。
如何使用Spark/Scala读取Hbase的数据
从上面的代码可以看出来，使用spark+scala操作hbase是非常简单的。
spark读取hbase数据形成RDD，构建schma信息，形成DF 通过sparkSQL 将df数据写入到指定的hive表格中。
Spark通过提供丰富的Scala， Java，Python API及交互式Shell来提高可用性。Spark与Hadoop的结合 Spark可以直接对HDFS进行数据的读写，同样支持Spark on YARN。
当设置为true时，Spark SQL将为基于数据统计信息的每列自动选择一个压缩算法。spark.sql.inMemoryColumnarStorage.batchSize 10000 柱状缓存的批数据大小。
如何使用scala+spark读写hbase
从上面的代码可以看出来，使用spark+scala操作hbase是非常简单的。
spark读取hbase数据形成RDD，构建schma信息，形成DF 通过sparkSQL 将df数据写入到指定的hive表格中。
一般如果每个节点都安装了hbase和hadoop的安装包的话，可以在hadoop-env内将hadoop的classpath设置上hbase的classpath，可以解决你的问题。如果不是的话，建议学习使用distribution cache，减少jar上传的时间。
使用IDE新建Scala 或 Java 工程，确保项目结构符合 Maven 推荐的项目结构。
spark与hbase整合的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于spark操作hbase、spark与hbase整合的信息别忘了在本站进行查找喔。