开源ETL工具比较,Kettle和Talend,都有什么优势和劣势
1、Kettle是一款国外开源的ETL工具，使用突破性的元数据驱动方法提供强大的提取，转换和加载（ETL）功能。在Windows、Linux、Unix上均可运行，数据抽取高效稳定。
2、传统的ETL方式 传统的ETL工具比如Kettle、Talend、Informatica等，可视化操作，上手比较快，但是随着数据量上升容易导致性能出问题，可优化的空间不大。
3、这也是大数据的主要功能之一。预测分析允许公司通过分析大数据源来发现、评估、优化和部署预测模型，从而提高业务性能或降低风险。同时，大数据的预测分析也与我们的生活息息相关。
4、数据存储：Hadoop作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心的存储引擎，已被广泛用于数据存储。
5、导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。挖掘 比较典型算法有用于聚类的K-Means、用于统计学习的SVM和用于分类的Naive Bayes，主要使用的工具有HadoopMahout。
6、使得数据能够共享。一般的企业都需要数据集成，帮助其对数据质量进行处理，数据共享后方便数据的查询与分析，有助于后期的决策指导。开发数据集成的主要有中软卓成，看点在于数据共享、质量处理和可视化视图展示等。
kettle转换由什么组成
1、LogLevel中配置好转换的参数，以及执行转换的模式，启动并执行转换。当打开Kettle的设计器界面后，可以在其中设计作业和转换。
2、通过命令行 -D 参数。属性文件 kettle.property 中设置，该属性文件位于 {user.home}.kettle 下。通过设置环境变量步骤 (Set Variable)设置。
3、首先我们需要了解Kettle的Kitchen和Pan Kitchen——作业(job)执行器 (命令行方式) Pan——转换(trasform)执行器 (命令行方式)下面我们将重点讲解经常会用到的 ***作业执行器 Kitchen.bat *** 。
4、先设置一个变量TABLENAME，Kettle有个自定义常量，里面可以赋值（比如40个表）把上面的SQL中的audit_system_user替换成${TABLENAME}，即可。
5、第一个区别，Job（作业）是步骤流，transformation（转换）是数据流。这是作业和转换最大的区别。第二个区别，Job的每一个步骤，必须等到前面的步骤都跑完了，后面的步骤才会执行。
kettle连接hadoop配置hdfs文件数据导出
1、Kettle有个hdfs插件就可以直接用，不过要注意你的hadoop集群版本和kettle中hadoop相关jar包要一致。
2、)使用 导入：hadoop jar /../hbase/hbase-*.jar import mytest /export/mybakup 导出：hadoop jar /../hbase/hbase-*.jar import mytest /import/mybackup 直接将数据导出到hdfs目录中，当不指定file前缀时。
3、)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ，Oracle ，Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
4、你是否遇到了需要将mysql数据库中的所有表与数据迁移到Oracle。你是否还在使用kettle重复的画着：表输入-表输出、创建表，而烦恼。下面为你实现了一套通用的数据库迁移流程。
5、要在Hadoop集群中指定元数据文件存储路径，需要编辑hdfs-site.xml配置文件并设置适当的属性。
6、Java抽象类 org.apache.hadoop.fs.FileSystem 定义了Hadoop中一个文件系统的客户端接口，并且该抽象类有几个具体实现。Hadoop一般使用URI（下图）方案来选取合适的文件系统实例进行交互。
kettle源码搭建运行时出现错误
因为kettle0是基于jdk8的，所以你用7的时候会报错，你可以运行SpoonDebug.bat，把完整的报错输出出来。然后8 已经不支持MaxPermSize，所以你要在Spoon.bat中把XX：MaxPermSize修改为MaxMetaspaceSize。
在kettle执行的过程中，如果遇到错误，kettle会停止运行。在某些时候，并不希望kettle停止运行，这时候可以使用错误处理（Step Error Handling）。
kettle作业在运行一段时间后会报错，原因是mysql会默认每8小时回收一次无用连接。错误日志如下：然后你的作业就失败了，必须重新启动kettle才能解决。经过多次排查，最终解决。