开源项目 Kettle 介绍

1 etl基本概念

   1.1 etl的定义 etl分别是“extract”、“ transform” 、“load”三个单词的首字母缩写也就是“抽取”、“转换”、“装载” ，但我们日常往往简称其为数据抽取。etl是bi/dw（商务智能/数据仓库）的 核心和灵魂，按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。etl包含了三方面，首 先是“抽取”：将数据从各种原始的业务系统中读取出来，这是所有工作的前提。其次“转换”：按照预先设计好的规则将抽取得数据进行转换，使本来异构的数据 格式能统一起来。最后“装载”：将转换完的数据按计划增量或全部导入到数据仓库中。

一直想在手工etl的同时自己做一个简单的元数据管理库。到网上搜索了一下，有前辈说可以参考开源项目kettle的源代码，于是就到网上下了一个用了一下，发现过程比较简洁，而且在很多地方都做得比较人性化，比如支持自己编写sql、java script等。所以特地打算研究一下，发现网上已经有很多教程了，转一篇过来看看。改天有时间再研究一下后台的代码。不过对于元数据的记录信息似乎少了点，不过鉴于它是完全免费使用的，也没什么可说的了。下面是转载文：

----------------------------

    说到etl开源项目，kettle当属翘首，因此，偶决定花点时间了解一下。项目名称很有意思，水壶。按项目负责人matt的说法：把各种数据放到一个壶里，然后呢，以一种你希望的格式流出。呵呵，外国人都很有联想力。看了提供的文档，然后对发布程序的简单试用后，可以很清楚得看到kettle的四大块：

    chef——工作(job)设计工具 (gui方式) 

    kitchen——工作(job)执行器 (命令行方式)

    spoon——转换(transform)设计工具(gui方式)

    span——转换(trasform)执行器(命令行方式)

    嗯，厨师已经在厨房里，勺子和盘子一应俱全，且看能做出如何的大餐？

一：chef——工作(job)设计器

    这是一个gui工具，操作方式主要通过拖拖拉拉，勿庸多言，一看就会。何谓工作？多个作业项，按特定的工作流串联起来，开成一项工作。正如：我的工作是软件开发。我的作业项是：设计、编码、测试！先设计，如果成功，则编码，否则继续设计，编码完成则开始设计，周而复始，作业完成。来，看看chef中的作业项：

    1.1： 转换：指定更细的转换任务，通过spoon生成。通过field来输入参数。

    1.2： sql：sql语句执行，

    1.3： ftp：下载ftp文件。 

    1.4： 邮件：发送邮件。 

    1.5： 检查表是否存在，

    1.6： 检查文件是否存在，

    1.7： 执行shell脚本。如：dos命令。

    1.8： 批处理。(注意：windows批处理不能有输出到控制台)。 

    1.9： job包。作为嵌套作业使用。

    1.10：javascript执行。这个比较有意思，我看了一下源码，如果你有自已的script引擎，可以很方便的替换成自定义script，来扩充其功能。 

    1.11：sftp：安全的ftp协议传输。 

    1.12：http方式的上/下传。

    好了，看看工作流： 

    如上文所述，工作流是作业项的连接方式。分为三种：无条件，成功，失败。这个没啥好说的，从名字就能知道它的意图。嗯，为了方便工作流使用，提供了几个辅助结点单元(你也可将其作为简单的作业项)： 

    1：start单元，任务必须由此开始。设计作业时，以此为起点。

    2：ok单元：可以编制做为中间任务单元，且进行脚本编制，用来控制流程。 

    3：error单元：用途同上。

    4：dummy单元：啥都不做，主要是用来支持多分支的情况。文档中有例子，不再多说。

    存储方式：

    支持xml存储，或存储到指定数据库中。一些默认的配置(如数据库存储位置……)，在系统的用户目录下，单独建立了一个.kettle目录，用来保存用户的这些设置。  

    logview：可查看执行日志。

二：kitchen——作业执行器  

    是一个作业执行引擎，用来执行作业。这是一个命令行执行工具，没啥可讲的，就把它的参数说明列一下。

    -rep      : repository name   任务包所在存储名

    -user     : repository username   执行人

    -pass     : repository password   执行人密码

    -job      : the name of the job to launch 任务包名称

    -dir      : the directory (don''t forget the leading / or \) 

    -file     : the filename (job xml) to launch 

    -level    : the logging level (basic, detailed, debug, rowlevel, error, nothing) 指定日志级别 

    -log      : the logging file to write to  指定日志文件 

    -listdir  : list the directories in the repository 列出指定存储中的目录结构。 

    -listjobs : list the jobs in the specified directory 列出指定目录下的所有任务 

    -listrep  : list the defined repositories 列出所有的存储

    -norep    : don''t log into the repository  不写日志

    嗯，居然不支持调度。看了一下文档，建议使用操作系统提供的调度器来实现调度，比如：windows可以使用它的任务计划工具。

三：spoon——转换过程设计器

    gui工作，用来设计数据转换过程，创建的转换可以由pan来执行，也可以被chef所包含，作为作业中的一个作业项。下面简单列举一下所有的转换过程。(简单描述，详细的可见spoon文档)

    3.1：input-steps：输入步骤 

    3.1.1：text file input：文本文件输入，

           可以支持多文件合并，有不少参数，基本一看参数名就能明白其意图。

    3.1.2：table input：数据表输入

           实际上是视图方式输入，因为输入的是sql语句。当然，需要指定数据源(数据源的定制方式在后面讲一下)

    3.1.3：get system info：取系统信息

           就是取一些固定的系统环境值，如本月最后一天的时间，本机的ip地址之类。

    3.1.4：generate rows：生成多行。

           这个需要匹配使用，主要用于生成多行的数据输入，比如配合add sequence可以生成一个指定序号的数据列。

    3.1.5：xbase input： 

    3.1.6：excel input： 

    3.1.7：xml input： 

           这三个没啥可讲的，看看参数就明了。

    3.2：output-steps： 输出步聚

    3.2.1：text file output：文本文件输出。

           这个用来作测试蛮好，呵呵。很方便的看到转换的输出。

    3.2.2：table output：输出到目的表。

    3.2.3：insert/update：目的表和输入数据行进行比较，然后有选择的执行增加，更新操作。

    3.2.4：update：同上，只是不支持增加操作。

    3.2.5：xml output：

    3.3：look-up：查找操作

    database: 

    stream：

    procedure：

    database join： 

        很简单，看看参数就明白了。

    3.4：transform  转换 (嗯，重点)

    3.4.1：select values： 对输入的行记录数据 的字段进行更改 (更改数据类型，更改字段名或删除) 

           数据类型变更时，数据的转换有固定规则，可简单定制参数。可用来进行数据表的改装。 

    3.4.2：filter rows： 对输入的行记录进行 指定复杂条件 的过滤。 

           用途可扩充sql语句现有的过滤功能。但现有提供逻辑功能超出标准sql的不多。 

    3.4.3：sort rows：对指定的列以升序或降序排序，当排序的行数超过5000时需要临时表。 

    3.4.4：add sequence：为数据流增加一个序列，

           这个配合其它step(generate rows, rows join)，可以生成序列表，如日期维度表(年、月、日)。

    3.4.5：dummy：不做任何处理，主要用来作为分支节点。

    3.4.6：join rows：对所有输入流做笛卡儿乘积。

    3.4.7：aggregate：聚合，分组处理

    3.4.8：group by：分组

           用途可扩充sql语句现有的分组，聚合函数。但我想可能会有其它方式的sql语句能实现。 

    3.4.9：java script value：使用mozilla的rhino作为脚本语言，并提供了很多函数，用户可以在脚本中使用这些函数。 

    3.4.10： row normaliser：该步骤可以从透视表中还原数据到事实表，

           通过指定维度字段及其分类值，度量字段，最终还原出事实表数据。 

    3.4.11. unique rows：去掉输入流中的重复行

           在使用该节点前要先排序，否则只能删除连续的重复行。  

    3.4.12. calculator：提供了一组函数对列值进行运算，

           所介绍，使用该方式比用户自定义java script脚本速度更快。

    3.4.13. merge rows：用于比较两组输入数据，一般用于更新后的数据重新导入到数据仓库中。

    3.4.14. add constants：增加常量值。

           这个我没弄明白它的用法？？？

    3.4.15. row denormaliser：同normaliser过程相反。

    3.4.16. row flattener：表扁平化处理 

           指定需处理的字段和扃平化后的新字段，将其它字段做为组合key进行扃平化处理。

    3.5：extra：除了上述基本节点类型外还定义了扩展节点类型  

    3.5.1：split fields， 按指定分隔符拆分字段 

    3.5.2：execute sql script，执行sql语句

    3.5.3：cube input， 

    3.5.4：cube output等。 

           这两个没明白是啥意思。

    3.6：其它

    存储方式： 与chef相同。

    数据源(connection)；见后。

    hops：setp连接起来，形成hops。

    plugin step types等节点：这个没仔细看，不知如何制作plugin step。

    logview：可查看执行日志。

四：pan——转换的执行工具

    命令行执行方式，可以执行由spoon生成的转换任务。

    同样，不支持调度。

    参数与kitchen类似，可参见pan的文档。

五：其它

    connection： 

    可以配置多个数据源，在job或是trans中使用，这意味着可以实现跨数据库的任务。

    支持大多数市面上流行的数据库。

    个人感觉：(本人不成熟的看法)

    1：转换功能全，使用简洁。作业项丰富，流程合理。但缺少调度。

    2：java代码，支持的数据源范围广，所以，跨平台性较好。

    3：从实际项目的角度看，和其它开源项目类似，主要还是程序员的思维，缺少与实际应用项目(专业领域)的更多接轨，当然，项目实施者的专注点可能在于一个平台框架，而非实际应用(实际应用需要二次开发)。

    4：看过了大多数源码，发现源码的可重用性不是太好(缺少大粒度封装)，有些关键部分好象有bug。比如：个别class过于臃肿，线程实现的同步有问题。

    5：提供的工具有些小错，如参数的容错处理。

    好，对kettle有了浅浅的了解，其它的容后再说。