sqoop詳解

版本 1.4.3

sqoop help 指令幫助

對應資料庫的jdbc jar包複制到sqoop lib目錄下

1.把資料從mysql導入hdfs(預設是/user/<username>中

sqoop import --connect  jdbc:mysql://localhost:3306/hive --username root --password root --table  tbls --fields-terminated-by  '\t'  --null-string '**'  -m 1 --append

m代表map個數

append代表追加，目錄存在的情況下

--hive-import代表導入到hive中

2.把資料從hdfs導出到mysql都是按目錄導出（mysql事先要存在一個資料庫和表）

sqoop export --connect  jdbc:mysql://localhost:3306/hive --username root

--password root --table  ids --fields-terminated-by  '\t'  --export-dir '/ids'

可以重複執行不斷往mysql中插入

3.增量導入，生産中用的比較多（incremental）

--check-column 'tbl_id'  --incremental append --last-value 6

4.設定作業

建立job(類似于腳本）

sqoop job --create  myjob -- import --connect  jdbc:mysql://localhost:3306/hive --username root

--password root --table  tbls --fields-terminated-by  '\t' 

--null-string '**'  -m 1 --append

檢視job

sqoop job --list

删除job

sqoop job --delete myjob

執行job

sqoop job --exec myjob

需要輸入密碼

5.導入導出的事務是以mapper任務為機關

--satging-table中間表

staging-table <staging-table-name> 中間表

<a href="http://blog.csdn.net/yfkiss/article/details/17614721" target="_blank">http://blog.csdn.net/yfkiss/article/details/17614721</a>