大資料技術之_12_Sqoop學習_Sqoop 簡介+Sqoop 原理+Sqoop 安裝+Sqoop 的簡單使用案例+Sqoop 一些常用指令及參數

第1章 Sqoop 簡介第2章 Sqoop 原理第3章 Sqoop 安裝3.1 下載下傳并解壓3.2 修改配置檔案3.3 拷貝 JDBC 驅動3.4 驗證 Sqoop3.5 測試 Sqoop 是否能夠成功連接配接資料庫第4章 Sqoop 的簡單使用案例4.1 導入資料4.1.1 從 RDBMS 到 HDFS4.1.2 從 RDBMS 到 Hive4.1.3 從 RDBMS 到 HBase4.2 導出資料4.2.1 從 HIVE/HDFS 到 RDBMS4.3 腳本打包第5章 Sqoop 一些常用指令及參數5.1 常用指令列舉5.2 指令&參數詳解5.2.1 公用參數：資料庫連接配接5.2.2 公用參數：import5.2.3 公用參數：export5.2.4 公用參數：hive5.2.5 指令&參數：import5.2.6 指令&參數：export5.2.7 指令&參數：codegen5.2.8 指令&參數：create-hive-table5.2.9 指令&參數：eval5.2.10 指令&參數：import-all-tables5.2.11 指令&參數：job5.2.12 指令&參數：list-databases5.2.13 指令&參數：list-tables5.2.14 指令&參數：merge5.2.15 指令&參數：metastore

第1章 Sqoop 簡介

  Sqoop 是一款開源的工具，主要用于

在 Hadoop(Hive) 與傳統的資料庫 (mysql,postgresql,...) 間進行資料的高校傳遞

，可以将一個關系型資料庫（例如：MySQL,Oracle,Postgres等）中的資料導入到 Hadoop 的 HDFS 中，也可以将 HDFS 的資料導進到關系型資料庫中。

  Sqoop 項目開始于 2009 年，最早是作為 Hadoop 的一個第三方子產品存在，後來為了讓使用者能夠快速部署，也為了讓開發人員能夠更快速的疊代開發，Sqoop 獨立成為一個 Apache 頂級項目。

  Sqoop2 的最新版本是 1.99.7。請注意，2 與 1 不相容，且特征不完整，它并不打算用于生産部署。

第2章 Sqoop 原理

  将導入或導出指令翻譯成 mapreduce 程式來實作。

  在翻譯出的 mapreduce 中主要是對 inputformat 和 outputformat 進行定制。

第3章 Sqoop 安裝

  安裝 Sqoop 的前提是已經具備 Java 和 Hadoop 的環境。

3.1 下載下傳并解壓

1) 下載下傳位址：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/

2) 上傳安裝包 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 到虛拟機中

3) 解壓 sqoop 安裝包到指定目錄，如：

$ tar -zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/
           

4) 重命名 sqoop 安裝目錄，如：

[atguigu@hadoop102 module]$ mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha/ sqoop
           

3.2 修改配置檔案

  Sqoop 的配置檔案與大多數大資料架構類似，在 sqoop 根目錄下的 conf 目錄中。

1) 重命名配置檔案

$ mv sqoop-env-template.sh sqoop-env.sh
           

2) 修改配置檔案

[atguigu@hadoop102 conf]$ pwd
/opt/module/sqoop/conf
[atguigu@hadoop102 conf]$ vim sqoop-env.sh

export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.2
export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.7.2
export HIVE_HOME=/opt/module/hive
export ZOOKEEPER_HOME=/opt/module/zookeeper-3.4.10
export ZOOCFGDIR=/opt/module/zookeeper-3.4.10
export HBASE_HOME=/opt/module/hbase
           

3.3 拷貝 JDBC 驅動

拷貝 jdbc 驅動到 sqoop 的 lib 目錄下，如：

[atguigu@hadoop102 sqoop]$ cp /opt/software/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /opt/module/sqoop/lib/
           

3.4 驗證 Sqoop

我們可以通過某一個 command 來驗證 sqoop 配置是否正确：

[atguigu@hadoop102 sqoop]$ bin/sqoop help
           

出現一些 Warning 警告（警告資訊已省略），并伴随着幫助指令的輸出：

Available commands:
  codegen            Generate code to interact with database records
  create-hive-table     Import a table definition into Hive
  eval               Evaluate a SQL statement and display the results
  export             Export an HDFS directory to a database table
  help               List available commands
  import             Import a table from a database to HDFS
  import-all-tables     Import tables from a database to HDFS
  import-mainframe    Import datasets from a mainframe server to HDFS
  job                Work with saved jobs
  list-databases        List available databases on a server
  list-tables           List available tables in a database
  merge              Merge results of incremental imports
  metastore           Run a standalone Sqoop metastore
  version            Display version information
           

3.5 測試 Sqoop 是否能夠成功連接配接資料庫

[atguigu@hadoop102 sqoop]$ bin/sqoop list-databases --connect jdbc:mysql://hadoop102:3306/ --username root --password 123456
           

出現如下輸出：

information_schema
metastore
mysql
performance_schema
test
           

第4章 Sqoop 的簡單使用案例

4.1 導入資料

  在 Sqoop 中，“導入”概念指：從非大資料叢集（RDBMS）向大資料叢集（HDFS，HIVE，HBASE）中傳輸資料，叫做：導入，即使用 import 關鍵字。

4.1.1 從 RDBMS 到 HDFS

1) 确定 Mysql 服務開啟正常

查詢監控端口或者查詢程序來确定，以下兩種辦法可以确認mysql是否在啟動運作狀态：

辦法一：查詢端口

$ netstat -tulpn
           

MySQL監控的是TCP的3306端口，如下圖，說明MySQL服務在運作中。

辦法二：查詢程序

ps -ef | grep mysqld
           

可以看見mysql的程序

2) 在 Mysql 中建立一張表并插入一些資料

$ mysql -uroot -p123456
mysql> create database company;
mysql> create table company.staff(id int(4) primary key not null auto_increment, name varchar(255), sex varchar(255));
mysql> insert into company.staff(name, sex) values('Thomas', 'Male');
mysql> insert into company.staff(name, sex) values('Catalina', 'FeMale');
           

3) 導入資料

（1）全部導入

[atguigu@hadoop102 sqoop]$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"
           

（2）查詢導入

[atguigu@hadoop102 sqoop]$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--query 'select name,sex from staff where id <=1 and $CONDITIONS;'

等價于

[atguigu@hadoop102 sqoop]$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--query "select name,sex from staff where id <=1 and \$CONDITIONS;"
           

提示

：must contain '$CONDITIONS' in WHERE clause.

$CONDITIONS

：傳遞作用。

如果 query 後使用的是雙引号，則

$CONDITIONS

前必須加轉義符，防止 shell 識别為自己的變量。

（3）導入指定列

[atguigu@hadoop102 sqoop]$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff \
--columns id,sex \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"
           

提示

：columns中如果涉及到多列，用逗号分隔，分隔時不要添加空格。

（4）使用 sqoop 關鍵字篩選查詢導入資料

[atguigu@hadoop102 sqoop]$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff \
--where "id=1" \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"

[atguigu@hadoop102 sqoop]$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff \
--columns id,sex \
--where "id=1" \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"
           

4.1.2 從 RDBMS 到 Hive

[atguigu@hadoop102 sqoop]$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff \
--num-mappers 1 \
--fields-terminated-by "\t" \
--hive-import \
--hive-overwrite \
--hive-table staff_hive
           

提示

：該過程分為兩步，第一步将資料導入到 HDFS，第二步将導入到 HDFS 的資料遷移到 Hive 倉庫，第一步預設的臨時目錄是 /user/atguigu/表名。

4.1.3 從 RDBMS 到 HBase

（1）導入資料

[atguigu@hadoop102 sqoop]$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff \
--columns "id,name,sex" \
--num-mappers 1 \
--column-family "info" \
--hbase-create-table \
--hbase-row-key "id" \
--hbase-table "hbase_staff" \
--split-by id
           

會報錯，如下圖所示：

原因

：sqoop1.4.6 隻支援 HBase1.0.1 之前的版本的自動建立 HBase 表的功能。

解決方案

：手動建立 HBase 表

hbase> create 'hbase_staff','info'
           

(5) 在 HBase 中 scan 這張表得到如下内容

hbase> scan ‘hbase_staff’
           

4.2 導出資料

在Sqoop中，“導出”概念指：從大資料叢集（HDFS，HIVE，HBASE）向非大資料叢集（RDBMS）中傳輸資料，叫做：導出，即使用 export 關鍵字。

4.2.1 從 HIVE/HDFS 到 RDBMS

（1）導出資料

[atguigu@hadoop102 sqoop]$ bin/sqoop export \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff \
--num-mappers 1 \
--export-dir /user/hive/warehouse/staff_hive \
--input-fields-terminated-by "\t"
           

提示

：Mysql 中如果表不存在，不會自動建立。

4.3 腳本打包

  使用opt格式的檔案打包 sqoop 指令，然後執行。

1) 建立一個 xxx.opt 檔案

[atguigu@hadoop102 sqoop]$ pwd
/opt/module/sqoop
[atguigu@hadoop102 sqoop]$ mkdir opt
[atguigu@hadoop102 sqoop]$ touch opt/job_HDFS2RDBMS.opt
           

2) 編寫 sqoop 腳本

[atguigu@hadoop102 sqoop]$ cd opt/
[atguigu@hadoop102 opt]$ vim job_HDFS2RDBMS.opt 

export
--connect
jdbc:mysql://hadoop102:3306/company
--username
root
--password
123456
--table
staff
--num-mappers
1
--export-dir
/user/hive/warehouse/staff_hive
--input-fields-terminated-by
"\t"
           

3) 執行該腳本

[atguigu@hadoop102 sqoop]$ bin/sqoop --options-file opt/job_HDFS2RDBMS.opt
           

尖叫提示

：Mysql 中如果表不存在，不會自動建立，是以我們要先建立表 staff，如果表 staff 存在，我們應該清除掉 staff 表的資料，不然會出現主鍵沖突！如下圖所示：

通過檢視日志曆史伺服器，可知：

第5章 Sqoop 一些常用指令及參數

5.1 常用指令列舉

  這裡給大家列出來了一部分 Sqoop 操作時的常用參數，以供參考，需要深入學習的可以參看對應類的源代碼。

如下表所示：

序号	指令	類	說明
1	import	ImportTool	将資料導入到叢集
2	export	ExportTool	将叢集資料導出
3	codegen	CodeGenTool	擷取資料庫中某張表資料生成 Java 并打包 Jar
4	create-hive-table	CreateHiveTableTool	建立 Hive 表
5	eval	EvalSqlTool	檢視 SQL 執行結果
6	import-all-tables	ImportAllTablesTool	導入某個資料庫下所有表到 HDFS 中
7	job	JobTool	用來生成一個 sqoop 的任務，生成後，該任務并不執行，除非使用指令執行該任務。
8	list-databases	ListDatabasesTool	列出所有資料庫名
9	list-tables	ListTablesTool	列出某個資料庫下所有表
10	merge	MergeTool	将 HDFS 中不同目錄下面的資料合并在一起，并存放在指定的目錄中
11	metastore	MetastoreTool	記錄 sqoop job 的中繼資料資訊，如果不啟動 metastore 執行個體，則預設的中繼資料存儲目錄為： ~/.sqoop ，如果要更改存儲目錄，可以在配置檔案 sqoop-site.xml 中進行更改。
12	help	HelpTool	列印 sqoop 幫助資訊
13	version	VersionTool	列印 sqoop 版本資訊

5.2 指令&參數詳解

  剛才列舉了一些 Sqoop 的常用指令，對于不同的指令，有不同的參數，讓我們來一一列舉說明。

  首先來我們來介紹一下公用的參數，所謂公用參數，就是大多數指令都支援的參數。

5.2.1 公用參數：資料庫連接配接

	參數
	--connect	連接配接關系型資料庫的URL
	--connection-manager	指定要使用的連接配接管理類
	--driver	Hadoop 根目錄
	--help	列印幫助資訊
	--password	連接配接資料庫的密碼
	--username	連接配接資料庫的使用者名
	--verbose	在控制台列印出詳細資訊

5.2.2 公用參數：import

	--enclosed-by < char>	給字段值前加上指定的字元
	--escaped-by < char>	對字段中的雙引号加轉義符
	--fields-terminated-by < char>	設定每個字段是以什麼符号作為結束，預設為逗号
	--lines-terminated-by < char>	設定每行記錄之間的分隔符，預設是 \n
	--mysql-delimiters	Mysql預設的分隔符設定，字段之間以逗号分隔，行之間以 \n分隔，預設轉義符是 \，字段值以單引号包裹
	--optionally-enclosed-by < char>	給帶有雙引号或單引号的字段值前後加上指定字元

5.2.3 公用參數：export

	--input-enclosed-by < char>	對字段值前後加上指定字元
	--input-escaped-by < char>	對含有轉移符的字段做轉義處理
	--input-fields-terminated-by < char>	字段之間的分隔符
	--input-lines-terminated-by < char>	行之間的分隔符
	--input-optionally-enclosed-by < char>	給帶有雙引号或單引号的字段前後加上指定字元

5.2.4 公用參數：hive

	--hive-delims-replacement < arg>	用自定義的字元串替換掉資料中的 \r\n 和 \013 \010 等字元
	--hive-drop-import-delims	在導入資料到 hive 時，去掉資料中的 \r\n \013 \010這樣的字元
	--map-column-hive < arg>	生成 hive 表時，可以更改生成字段的資料類型
	--hive-partition-key	建立分區，後面直接跟分區名，分區字段的預設類型為 string
	--hive-partition-value < v>	導入資料時，指定某個分區的值
	--hive-home < dir>	hive 的安裝目錄，可以通過該參數覆寫之前預設配置的目錄
	--hive-import	将資料從關系資料庫中導入到 hive 表中
	--hive-overwrite	覆寫掉在 hive 表中已經存在的資料
	--create-hive-table	預設是 false，即，如果目标表已經存在了，那麼建立任務失敗。
	--hive-table	後面接要建立的 hive 表,預設使用 MySQL 的表名
	--table	指定關系資料庫的表名

公用參數介紹完之後，我們來按照指令介紹指令對應的特有參數。

5.2.5 指令&參數：import

  将關系型資料庫中的資料導入到 HDFS（包括Hive，HBase）中，如果導入的是 Hive，那麼當 Hive 中沒有對應表時，則自動建立。

1) 指令：

如：導入資料到 hive 中

$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff \
--hive-import
           

如：增量導入資料到 hive 中，mode=append

append導入：

$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff \
--num-mappers 1 \
--fields-terminated-by "\t" \
--target-dir /user/hive/warehouse/staff_hive \
--check-column id \
--incremental append \
--last-value 3
           

尖叫提示

：append 不能與 --hive 等參數同時使用（Append mode for hive imports is not yet supported. Please remove the parameter --append-mode）

如：增量導入資料到 hdfs 中，mode=lastmodified

先在mysql中建表并插入幾條資料：
mysql> create table company.staff_timestamp(id int(4), name varchar(255), sex varchar(255), last_modified timestamp DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP);
mysql> insert into company.staff_timestamp (id, name, sex) values(1, 'AAA', 'female');
mysql> insert into company.staff_timestamp (id, name, sex) values(2, 'BBB', 'female');

先導入一部分資料：
$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff_timestamp \
--delete-target-dir \
--m 1

再增量導入一部分資料：
mysql> insert into company.staff_timestamp (id, name, sex) values(3, 'CCC', 'female');

$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff_timestamp \
--check-column last_modified \
--incremental lastmodified \
--last-value "2017-09-28 22:20:38" \
--m 1 \
--append
           

尖叫提示

：使用 lastmodified 方式導入資料，要指定增量資料是要

--append（追加）

還是要

--merge-key（合并）

尖叫提示

：last-value 指定的值是會包含于增量導入的資料中。

2) 參數：

	--append	将資料追加到 HDFS 中已經存在的 DataSet 中，如果使用該參數，sqoop 會把資料先導入到臨時檔案目錄，再合并。
	--as-avrodatafile	将資料導入到一個 Avro 資料檔案中
	--as-sequencefile	将資料導入到一個 sequence 檔案中
	--as-textfile	将資料導入到一個普通文本檔案中
	--boundary-query < statement>	邊界查詢，導入的資料為該參數的值（一條sql語句）所執行的結果區間内的資料。
	--columns < col1, col2, col3>	指定要導入的字段
	--direct	直接導入模式，使用的是關系資料庫自帶的導入導出工具，以便加快導入導出過程。
	--direct-split-size	在使用上面direct直接導入的基礎上，對導入的流按位元組分塊，即達到該門檻值就産生一個新的檔案
	--inline-lob-limit	設定大對象資料類型的最大值
	--m或–num-mappers	啟動N個 map 來并行導入資料，預設4個。
	--query或--e < statement>	将查詢結果的資料導入，使用時必須伴随參--target-dir，--hive-table，如果查詢中有 where 條件，則條件後必須加上 $CONDITIONS 關鍵字
	--split-by < column-name>	按照某一列來切分表的工作單元，不能與--autoreset-to-one-mapper連用（請參考官方文檔）
	--table < table-name>	關系資料庫的表名
14	--target-dir < dir>	指定 HDFS 路徑
15	--warehouse-dir < dir>	與14參數不能同時使用，導入資料到 HDFS 時指定的目錄
16	--where	從關系資料庫導入資料時的查詢條件
17	--z或--compress	允許壓縮
18	--compression-codec	指定 hadoop 壓縮編碼類，預設為 gzip(Use Hadoop codec default gzip)
19	--null-string < null-string>	string 類型的列如果 null，替換為指定字元串
20	--null-non-string < null-string>	非 string 類型的列如果 null，替換為指定字元串
21	--check-column < col>	作為增量導入判斷的列名
22	--incremental < mode>	mode：append 或 lastmodified
23	--last-value < value>	指定某一個值，用于标記增量導入的位置

5.2.6 指令&參數：export

  從 HDFS（包括Hive和HBase）中獎資料導出到關系型資料庫中。

如：

$ bin/sqoop export \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff \
--export-dir /user/staff \
--input-fields-terminated-by "\t" \
--num-mappers 1
           

		利用資料庫自帶的導入導出工具，以便于提高效率
	--export-dir < dir>	存放資料的HDFS的源目錄
	-m或--num-mappers < n>	啟動N個map來并行導入資料，預設4個
		指定導出到哪個RDBMS中的表
	--update-key < col-name>	對某一列的字段進行更新操作
	--update-mode < mode>	updateonly，allowinsert(預設)
	--input-null-string < null-string>	請參考import該類似參數說明
	--input-null-non-string < null-string>
	--staging-table < staging-table-name>	建立一張臨時表，用于存放所有事務的結果，然後将所有事務結果一次性導入到目标表中，防止錯誤
	--clear-staging-table	如果第9個參數非空，則可以在導出操作執行前，清空臨時事務結果表

5.2.7 指令&參數：codegen

  将關系型資料庫中的表映射為一個 Java 類，在該類中有各列對應的各個字段。

$ bin/sqoop codegen \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff \
--bindir /home/admin/Desktop/staff \
--class-name Staff \
--fields-terminated-by "\t"
           

	--bindir < dir>	指定生成的 Java 檔案、編譯成的 class 檔案及将生成檔案打包為 jar 的檔案輸出路徑
	--class-name < name>	設定生成的 Java 檔案指定的名稱
	--outdir < dir>	生成 Java 檔案存放的路徑
	--package-name < name>	包名，如 com.z，就會生成 com 和 z 兩級目錄
	--input-null-non-string < null-str>	在生成的 Java 檔案中，可以将 null 字元串或者不存在的字元串設定為想要設定的值（例如空字元串）
	--input-null-string < null-str>	将null字元串替換成想要替換的值（一般與5同時使用）
	--map-column-java < arg>	資料庫字段在生成的 Java 檔案中會映射成各種屬性，且預設的資料類型與資料庫類型保持對應關系。該參數可以改變預設類型，例如：--map-column-java id=long, name=String
	--null-non-string < null-str>	在生成 Java 檔案時，可以将不存在或者 null 的字元串設定為其他值
	--null-string < null-str>	在生成 Java 檔案時，将 null 字元串設定為其他值（一般與8同時使用）
		對應關系資料庫中的表名，生成的 Java 檔案中的各個屬性與該表的各個字段一一對應

5.2.8 指令&參數：create-hive-table

  生成與關系資料庫表結構對應的 hive 表結構。

$ bin/sqoop create-hive-table \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff \
--hive-table hive_staff
           

		Hive 的安裝目錄，可以通過該參數覆寫掉預設的 Hive 目錄
		覆寫掉在 Hive 表中已經存在的資料
		預設是 false，如果目标表已經存在了，那麼建立任務會失敗
		後面接要建立的 hive 表

5.2.9 指令&參數：eval

  可以快速的使用 SQL 語句對關系型資料庫進行操作，經常用于在 import 資料之前，了解一下 SQL 語句是否正确，資料是否正常，并可以将結果顯示在控制台。

$ bin/sqoop eval \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--query "SELECT * FROM staff"
           

	--query 或 --e	後跟查詢的 SQL 語句

5.2.10 指令&參數：import-all-tables

  可以将 RDBMS 中的所有表導入到 HDFS 中，每一個表都對應一個 HDFS 目錄。

$ bin/sqoop import-all-tables \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--warehouse-dir /all_tables
           

		這些參數的含義均和import對應的含義一緻
		同上
	--direct-split-size < n>
	--inline-lob-limit < n>
	--m或—num-mappers < n>
	-z或--compress

5.2.11 指令&參數：job

  用來生成一個 sqoop 任務，生成後不會立即執行，需要手動執行。

$ bin/sqoop job \
--create myjob -- import-all-tables \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456
$ bin/sqoop job \
--list
$ bin/sqoop job \
--exec myjob
           

尖叫提示

：注意import-all-tables 和它左邊的--之間有一個空格。

尖叫提示

：如果需要連接配接 metastore，則 --meta-connect jdbc:hsqldb:hsql://hadoop102:16000/sqoop

	--create < job-id>	建立 job 參數
	--delete < job-id>	删除一個 job
	--exec < job-id>	執行一個 job
		顯示 job 幫助
	--list	顯示 job 清單
	--meta-connect < jdbc-uri>	用來連接配接 metastore 服務
	--show < job-id>	顯示一個 job 的資訊
		列印指令運作時的詳細資訊

尖叫提示

：在執行一個 job 時，如果需要手動輸入資料庫密碼，可以做如下優化：

<property>
    <name>sqoop.metastore.client.record.password</name>
    <value>true</value>
    <description>If true, allow saved passwords in the metastore.</description>
</property>
           

5.2.12 指令&參數：list-databases

$ bin/sqoop list-databases \
--connect jdbc:mysql://hadoop102:3306/ \
--username root \
--password 123456
           

與公用參數一樣

5.2.13 指令&參數：list-tables

$ bin/sqoop list-tables \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456
           

5.2.14 指令&參數：merge

  将 HDFS 中不同目錄下面的資料合并在一起并放入指定目錄中。

資料環境：

new_staff
1   AAA male
2   BBB male
3   CCC male
4   DDD male

old_staff
1   AAA female
2   CCC female
3   BBB female
6   DDD female
           

尖叫提示

：上邊資料的列之間的分隔符應該為\t，行與行之間的分割符為\n，如果直接複制，請檢查之。

建立JavaBean：
$ bin/sqoop codegen \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff \
--bindir /home/admin/Desktop/staff \
--class-name Staff \
--fields-terminated-by "\t"

開始合并：
$ bin/sqoop merge \
--new-data /test/new/ \
--onto /test/old/ \
--target-dir /test/merged \
--jar-file /home/admin/Desktop/staff/Staff.jar \
--class-name Staff \
--merge-key id

結果：
1   AAA    MALE
2   BBB    MALE
3   CCC    MALE
4   DDD    MALE
6   DDD    FEMALE
           

	--new-data < path>	HDFS 待合并的資料目錄，合并後在新的資料集中保留
	--onto < path>	HDFS 合并後，重複的部分在新的資料集中被覆寫
	--merge-key < col>	合并鍵，一般是主鍵 ID
	--jar-file < file>	合并時引入的j ar 包，該 jar 包是通過 Codegen 工具生成的jar包
	--class-name < class>	對應的表名或對象名，該 class 類是包含在 jar 包中的
	--target-dir < path>	合并後的資料在 HDFS 裡存放的目錄

5.2.15 指令&參數：metastore

$ bin/sqoop metastore
           

	--shutdown	關閉 metastore

Copyright ©2018-2019

【轉載文章務必保留出處和署名，謝謝！】