Sqoop之 Sqoop 1.4.6 安裝

1. sqoop資料遷移

1.1 概述

sqoop是apache旗下一款“Hadoop和關系資料庫伺服器之間傳送資料”的工具。 

導入資料：MySQL，Oracle導入資料到Hadoop的HDFS、HIVE、HBASE等資料存儲系統； 

導出資料：從Hadoop的檔案系統中導出資料到關系資料庫

1.2 工作機制

将導入或導出指令翻譯成mapreduce程式來實作 

在翻譯出的mapreduce中主要是對inputformat和outputformat進行定制

1.3 sqoop實戰及原理

1.3.1 sqoop安裝

安裝sqoop的前提是已經具備java和hadoop的環境 

1、下載下傳并解壓 

最新版下載下傳位址http://ftp.wayne.edu/apache/sqoop/1.4.6/ 

比如：sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

[root@hadoop1 sqoop]# tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

[root@hadoop1 sqoop]# mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop

[root@hadoop1 sqoop]# ls

apache-hive-1.2.1-bin hadoop-2.7.4 hdfs pig-0.17.0 pig_1517170893185.log sqoop tmp

2、修改配置檔案 

在/etc/profile中配置sqoop_home,代碼如下：

vim /etc/profile

export SQOOP_HOME=/usr/local/hadoop/sqoop

追加path

export PATH=$PATH:$SQOOP_HOME/bin

[root@hadoop1 sqoop]# source /etc/profile

$ cd $SQOOP_HOME/conf

$ mv sqoop-env-template.sh sqoop-env.sh

打開sqoop-env.sh并編輯下面幾行： ## 去掉前面的##

export HADOOP_COMMON_HOME=/usr/local/hadoop/hadoop-2.7.4/

export HADOOP_MAPRED_HOME=/usr/local/hadoop/hadoop-2.7.4/

export HIVE_HOME=/usr/local/hadoop/apache-hive-1.2.1-bin/

配置後的界面效果如下： 

這裡寫圖檔描述

3.1 加入oracle的驅動包

将 ojdbc6.jar 放到 $SQOOP_HOME/lib/ 下。

3.2 加入mysql的jdbc驅動包 

将mysql-connector-java-5.1.38.jar 放到 $SQOOP_HOME/lib/ 下。

4、驗證啟動

$ cd $SQOOP_HOME/bin

$ sqoop-version

預期的輸出：

[root@hadoop1 sqoop]# sqoop-version

Warning: /usr/local/hadoop/sqoop/../hbase does not exist! HBase imports will fail.

Please set $HBASE_HOME to the root of your HBase installation.

Warning: /usr/local/hadoop/sqoop/../hcatalog does not exist! HCatalog jobs will fail.

Please set $HCAT_HOME to the root of your HCatalog installation.

Warning: /usr/local/hadoop/sqoop/../accumulo does not exist! Accumulo imports will fail.

Please set $ACCUMULO_HOME to the root of your Accumulo installation.

Warning: /usr/local/hadoop/sqoop/../zookeeper does not exist! Accumulo imports will fail.

Please set $ZOOKEEPER_HOME to the root of your Zookeeper installation.

18/01/29 19:09:34 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6

Sqoop 1.4.6

git commit id c0c5a81723759fa575844a0a1eae8f510fa32c25

Compiled by root on Mon Apr 27 14:38:36 CST 2015

[root@hadoop1 sqoop]#

到這裡，整個Sqoop安裝工作完成。

文章可以轉載，必須以連結形式标明出處。

本文轉自 張沖andy 部落格園部落格，如需轉載請自行聯系 原作者原文連結：http://www.cnblogs.com/andy6/p/8378419.html