天天看點

kettle學習筆記(九)——子轉換、叢集與變量

一、概述

  kettle中3個重要的步驟:

    子轉換/映射

      在轉換裡調用一個子轉換,便于封裝和重用。

    叢集

      叢集模式

    變量和參數

      變量和參數的用法

二、子轉換

  1.定義子轉換

    主要由映射輸入與映射輸出定義:

    

kettle學習筆記(九)——子轉換、叢集與變量

    這裡給出一個從kettle自帶的samples中拿出來的示例,詳情配置,參考kettle示例

kettle學習筆記(九)——子轉換、叢集與變量

    儲存這個轉換(可以是檔案,也可以在資源庫),這就是子轉換了!

  2.調用子轉換

kettle學習筆記(九)——子轉換、叢集與變量

    子轉換的配置:

kettle學習筆記(九)——子轉換、叢集與變量

    整個調用的示例如下:

kettle學習筆記(九)——子轉換、叢集與變量

    // 詳細,檢視kettle示例

三、叢集

  Kettle 叢集是一個分布式的運作環境,由一個主節點和多個子節點構成。

  主節點排程在子節點上處理不同的資料行,子節點把處理後的結果再送出到主節點。

  (本機模拟可以通過carte不同端口來模拟啟動,然後在kettle的子伺服器中配置,預設叢集使用者名cluster/cluster,然後在kettle叢集中添加叢集)

  使用的方式在步驟右擊,選擇叢集進行配置

四、參數和變量

   1.參數

   參數分為位置參數(arg)和命名參數(param),變量則和之前介紹的一樣。

  一個使用參數的示例如下:

  

kettle學習筆記(九)——子轉換、叢集與變量
kettle學習筆記(九)——子轉換、叢集與變量
kettle學習筆記(九)——子轉換、叢集與變量
kettle學習筆記(九)——子轉換、叢集與變量

  命名參數用法類似,之前也有介紹,使用age > ${arg1}

  如果使用指令行方式,則:

pan test.ktr 18      

  // 如有空格,需要加雙引号

  2.變量

  變量有作業下的設定變量和擷取變量兩種用法,分别對應将字段設定為字段和将變量設定為字段

kettle學習筆記(九)——子轉換、叢集與變量

  // 特别注意,設定的變量隻能其它轉換使用!!!

kettle學習筆記(九)——子轉換、叢集與變量

  使用的方式,類似如下:(作業中設定變量環節)

kettle學習筆記(九)——子轉換、叢集與變量

   kettle.properties中同樣支援設定變量(注意重新開機spoon)