批量作业调度、数据挖掘，最值得推荐的几款ETL工具.doc

? ? ? ? ? ? ? ? 批量作业调度、数据挖掘，最值得推荐的几款ETL工具 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ETL是数据仓库中的非常重要的一环，是承前启后的必要的一步。ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。 下面给大家介绍一下什么是ETL以及ETL常用的三种工具——Datastage，Taskctl，Kettle。 什么是ETL？ ETL，Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。 数据仓库结构 通俗的说法就是从数据源抽取数据出来，进行清洗加工转换，然后加载到定义好的数据仓库模型中去。目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是BI项目重要的一个环节，其设计的好坏影响生成数据的质量，直接关系到BI项目的成败。 为什么要用ETL工具 在数据处理的时候，我们有时会遇到这些问题： 当数据来自不同的物理主机，这时候如使用SQL语句去处理的话，就显得比较吃力且开销也更大。 数据来源可以是各种不同的数据库或者文件，这时候需要先把他们整理成统一的格式后才可以进行数据的处理，这一过程用代码实现显然有些麻烦。 在数据库中我们当然可以使用存储过程去处理数据，但是处理海量数据的时候存储过程显然比较吃力，而且会占用较多数据库的资源，这可能会导致数据资源不足，进而影响数据库的性能。 而上述遇到的问题，我们用ETL工具就可以解决。ETL工具具有以下几点优势： 支持多种异构数据源的连接。（部分） 图形化的界面操作十分方便。 处理海量数据速度快、流程更清晰等。 ETL工具介绍 1.Datastage IBM公司的商业软件，专业的ETL工具，但同时价格不菲，适合大规模的ETL应用。 [下载链接](http:///Pub/Develop ... taStage.v7.5.1A-iSO "下载链接") 使用难度：★★★★ 2.Taskctl 商业软件，国产专业的ETL工具平台。价格上比Datastage便宜很多，适合大规模的ETL应用。 下载链接 使用难度：★★★ 3.Taskctl Web版 免费，在商业版 Taskctl 6.0 基础上纵向扩展而来，可跨多平台适合中小企业IT自动化类系统建和数据开发人员，如数据系统批量调度自动化、系统运维自动化、企业数据资产监控等等 下载地址:?去公众号 【taskctl】回复内容?"软件"?即可 使用难度：★ 4.Kettle 免费，最著名的开源产品，是用纯java编写的ETL工具，只需要JVM环境即可部署，可跨平台，扩展性好。 下载链接 使用难度：★★ 三种ETL工具的对比 Datastage、Taskctl、Kettle三个ETL工具的特点和差异介绍： 1.操作 这三种ETL工具都是属于比较简单易用的，主要看开发人员对于工具的熟练程度。 2.部署 Kettle只需要JVM环境，Taskctl 需要服务器和客户端安装，而 Datastage 的部署比较耗费时间，有一点难度。 3.数据处理的速度 大数据量下 Taskctl 与 Datastage 的处理速度是比较快的，比较稳定。Kettle的处理速度相比之下稍慢。 4.服务 Taskctl 与 Datastage 有很好的商业化的技术支持，而 Kettle 则没有。商业软件的售后服务上会比免费的开源软件好很多。 5.风险 风险与成本成反比，也与技术能力成正比。 6.扩展 Kettle的扩展性无疑是最好，因为是开源代码，可以自己开发拓展它的功能，而 Taskctl 和Datastage 由于是商业软件，基本上不支持。 7.Job的监控 三者都有监控和日志工具。 在数据的监控上，个人觉得 Taskctl 的实时监控做的更加好，可以直观看到数据抽取的情况，运行到哪一个控件上。这对于调优来说，我们可以更快的定位到处理速度太慢的控件并进行处理，而 Datastage 也有相应的功能，但是并不直观，需要通过两个界面的对比才可以定位到处理速度缓慢的控件。有时候还需要通过一些方法去查找。 8.网上的技术服务支持 Kettle< Datastage < Taskctl 相对来说，Kettle 在遇到问题去网上快速找到解决方法的概率比较低，只有通过网上翻阅技术文档和加入社群询问，效率比较低；而相比 Datastage 和 Taskctl 则比较完善、由于是商业软件，网上不仅有完善的技术文档，24小时线上还有技术远程支持答疑人员。