sqoop的常用命令

sqoop常用案例

–导入到hdfs

import
--connect
jdbc:mysql://mysql:3306/jxgl  #数据库的位置
--username   #账号
root
--password  #密码
root    
--target-dir   #上传的hdfs的路径
/sqoop
--delete-target-dir  #上传后是否删除
-m  #mr的个数
1
--query   #对于mysql的查询语句
select * from xs where $CONDITIONS
--split-by
xh
--fields-terminated-by
,
           

–导入到hive

import
--connect
jdbc:mysql://mysql:3306/jxgl
--username
root
--password
root
--target-dir
/sqoop   #与导入hdfs中差不多
--delete-target-dir
-m
1
--hive-import   #说明导入到hive
--hive-table #指定hive的表名
xs
--query
select * from xs where $CONDITIONS
--split-by
xh
--fields-terminated-by  #分隔符
,
           

注意：导入到hive与hdfs其实原理一样，只是多了一个 --hive-import,–hive-table

–导入到hbase

import
--connect
jdbc:mysql://mysql:3306/jxgl
--username
root
--password
root

--hbase-create-table  #创建一个hbase表 
--hbase-table    #表单名字
cj
--column-family  #指定列簇名
cf
--hbase-row-key  #指定那个字段作为行键，一般是主键
xh
-m
1
--query
select * from cj where $CONDITIONS
           

–由hive导入到mysql中

在这里插入代码片
export   #导出
--connect
jdbc:mysql://mysql:3306/sqoop  #导出到的mysql的位置
--username
root
--password
root
--columns   #指定导出的列
xh,xm,xb,csrq,bjh
--export-dir   #文件所在的位置
/user/hive/warehouse/xs
--table   #mysql的表名
xs
--input-fields-terminated-by  #原文件的切割符
,          #分隔符要与文件的分隔符一样