kettle--核心了解

• 核心組成

1. 勺子（

   Spoon.bat/spoon.sh

   ）：是一個圖形化的界面，允許用圖形化的方式開發轉換和作業
2. 煎鍋（

   Pan.bat/pan.sh

   ）：利用

   Pan

   可以指令行調用

   Spoon

   編輯好的

   Job

3. 廚房（

   Kitchen.bat/kitchen.sh

   ）：利用Kitchen可以使用指令行調用由

   Spoon

   編輯好的

   Job

4. 菜單（

   Carte.bat/Carte.sh

   ）：

   Carte

   是一個輕量級的

   Web

   容器，用于建立專門，遠端的

   ETL Server

• kettle

  的目錄說明

  

  

• 概念

1. 可視化程式設計語言（

   Visual Programming Languages

   ）：快速建構複雜的

   ETL

   作業和減低工作維護量
2. 轉化（

   Transformation

   ）：負責資料的輸入、轉化、校驗和輸出等工作；

   Kettle

   使用轉化完成資料ETL全部工作；轉化由多個步驟（

   Step

   ）組成，各個步驟使用跳來連接配接；在

   Kettle

   中最小機關是資料行（

   row

   ），資料流中流動的是行集（

   RowSet

   ）
3. 步驟（

   Step

   ）：轉換裡的基本組成部分；步驟在統一轉換範圍内唯一；每個步驟都會讀、寫資料行；步驟将資料寫到與之相連的一個或多個輸出跳，再傳遞到跳的另一端的步驟；大多數步驟都可以有多個輸出跳；一個步驟的資料發送可以設定為分發和複制；分發是目标步驟輪流接收記錄，複制是所有的記錄被同時發送到所有的目标步驟
4. 跳（

   Hop

   ）是步驟之間帶箭頭的連線，定義了步驟之間的資料通路

5. 中繼資料：

   ①名稱：資料行裡的字段名是唯一的。

   ②資料類型：字段的資料類型。

   ③格式：資料顯示的方式，如

   Integer

   的

   #

   、

   0.00

   。

   ④長度：字元串的長度或者BigNumber類型的長度。

   ⑤精度：

   BigNumber

   資料類型的十進制精度。

   ⑥貨币符号：

   ￥

   ⑦小數點符号:十進制資料的小數點格式。不同文化背景下小數點符号是不同的，一般是點（

   .

   ）或逗号（

   ，

   ）。

   ⑧分組符号：數值類型資料的分組符号，不同文化背景下數字裡的分組符号也是不同的，一般是點（

   .

   ）或逗号（

   ，

   ）或單引号（

   ’

   ）

6. 資料類型

   ①

   String

   :字元類型資料

   ②

   Number

   :雙精度浮點數。

   ③

   Integer

   :帶符号長整型（

   64

   位）。

   ④

   BigNumber

   :任意精度資料。

   ⑤

   Date

   :帶毫秒精度的日期時間值。

   ⑥

   Boolean

   :取值為

   true

   和

   false

   的布爾值。

   ⑦

   Binary

   :二進制字段可以包含圖像、聲音、視訊及其他類型的二進制資料。
7. 作業 (

   Job

   )：定義一個完成整個工作流的控制；一個串行的排程工具執行轉換