sqoop2 五分鐘執行個體

一、啟動用戶端

sqoop2-shell

二、設定服務端

 set server --host your.host.com --port 12000 --webapp sqoop

或者

當 --url被指定後 --host,--port,--webapp将要被忽略

三、檢視版本

show version --all

四、建立link

顯示可用的連接配接

 show connector

1)根據connector的id建立 link1,下面的4為generic-jdbc-connector 的id

 create link -c 4

填寫資訊

Name: First Link

JDBC Driver Class: com.mysql.jdbc.Driver

JDBC Connection String: jdbc:mysql://mysql.server/database

Username: root

Password: *****

entry#回車

New link was successfully created with validation status OK and persistent id 1

2)建立link2,下面的4為hdfs-connector 的id

 create link -c 3

Name: Second Link

Link configuration

HDFS URI: hdfs://master:9000/

New link was successfully created with validation status OK and persistent id 2

五、建立job

create job -f 1 -t 2

Name: Sqoopy

 FromJob configuration

  Schema name:(Required)test

  Table name:(Required)testsqoop

  Table SQL statement:(Optional)

  Table column names:(Optional)

  Partition column name:(Optional) id        說明：這個我沒有指定 測試的表如果沒有主鍵會報錯

  Null value allowed for the partition column:(Optional)

  Boundary query:(Optional)

ToJob configuration

  Output format:

   0 : TEXT_FILE

   1 : SEQUENCE_FILE

  Choose: 0

  Compression format:

   0 : NONE

   1 : DEFAULT

   2 : DEFLATE

   3 : GZIP

   4 : BZIP2

   5 : LZO

   6 : LZ4

   7 : SNAPPY

   8 : CUSTOM

  Custom compression format:(Optional)

  Output directory:(Required)/testsqoop

  Driver Config

  Extractors:(Optional) 2

  Loaders:(Optional) 2

  New job was successfully created with validation status OK  and persistent id 1

六、運作job

start job -j 1

七、檢視狀态

status job -j 1

八、完成後檢視hdfs中是否有/testsqoop目錄（說明：重新運作job好像需要删除存在的目錄）

本文轉自 yntmdr 51CTO部落格，原文連結：http://blog.51cto.com/yntmdr/1713190，如需轉載請自行聯系原作者