天天看點

《Hadoop海量資料處理:技術詳解與項目實戰(第2版)》一2.6 安裝Sqoop

本節書摘來異步社群《hadoop海量資料處理:技術詳解與項目實戰(第2版)》一書中的第2章,第2.6節,作者: 範東來 責編: 楊海玲,更多章節内容可以通路雲栖社群“異步社群”公衆号檢視。

sqoop是一個開源工具,它允許使用者将資料從關系型資料庫抽取到hadoop中,用于進一步的處理。抽取出的資料可以被mapreduce作業使用,也可以被其他類似于hive的工具使用。一旦形成分析結果,sqoop便可以将這些結果導回資料庫,供其他用戶端使用。

sqoop的版本同樣選擇cdh5,完整的版本号為sqoop-1.4.5-cdh5.6.0,安裝sqoop的步驟非常簡單,主要就是修改配置檔案,并且sqoop和hive作為hadoop的用戶端,也隻有一種運作方式,sqoop可以被安裝至叢集任意一個節點(以主節點為例)。

将sqoop安裝包上傳到/opt檔案夾下,執行指令(hadoop使用者,主節點執行):

sqoop的配置檔案同樣存放在/opt/sqoop-1.4.5-cdh5.6.0/conf目錄下,但是安裝過程中并不需要修改配置檔案。我們需要修改/opt/sqoop-1.4.5-cdh5.6.0/bin目錄下的configure-sqoop檔案(hadoop使用者執行),将其中關于zookeep和hbase的行都注釋掉,除非叢集已經安裝了zookeeper和hbase。

例如:

全部注釋掉即可。

最後修改環境變量(root使用者,主節點執行),在/etc/profile檔案末尾追加:

追加後執行指令使環境變量立即生效:

驗證安裝是否成功的方式很簡單,執行指令(以hadoop使用者在主節點執行):

執行完成後,螢幕上會顯示mysql資料庫中的所有資料庫執行個體,例如在上一節建立的資料庫hive。