天天看點

kettle8将mysql資料導入hdfs

1. 由于是導入hdfs先,選出hadoop file output

kettle8将mysql資料導入hdfs

2. 拖拽到右側螢幕

kettle8将mysql資料導入hdfs

3. 輕按兩下配置

kettle8将mysql資料導入hdfs

(1) 關于hadoop配置

kettle8将mysql資料導入hdfs

(2) 第一次建立的時候會讓你選擇你的hadoop版本

如果是cdh 安裝 會有cdh50 之類的,選擇你對應的版本,如果是ambari安裝選擇hdp對應版本,如果是apache原生,選擇apache。

如果選擇錯誤,修改kettle下 的檔案

\pdi-ce-8.2.0.0-342\data-integration\plugins\pentaho-big-data-plugin\plugin.properties
kettle8将mysql資料導入hdfs
修改對應的即可。

(3)去叢集上找到對應的core-site.xml,如果find 會有很多,注意其中内容。含有配置資訊的,有叢集hostname的一般就是。

然後将檔案拷貝下來,托到上一步對應的kettle檔案夾下替換原有檔案。

kettle8将mysql資料導入hdfs

然後重新開機kettle即可連結hdfs。

4. mysql連接配接就相對簡單,将資料庫連接配接驅動

kettle8将mysql資料導入hdfs

放入kettle lib目錄下

kettle\pdi-ce-8.2.0.0-342\data-integration\lib
kettle8将mysql資料導入hdfs
  1. 滑鼠中鍵點選mysql 拖到hdfs上
kettle8将mysql資料導入hdfs
  1. run

繼續閱讀