天天看點

Hadoop Hive概念學習系列之HDFS、Hive、MySQL、Sqoop之間的資料導入導出(強烈建議去看)(十八)用Sqoop将mysql中的表和資料導入到Hive中

把MySQL裡的資料導入到HDFS

  1、使用MySQL工具手工導入

  把MySQL的導出資料導入到HDFS的最簡單方法就是,使用指令行工具和MySQL語句。

為了導出整個資料表或整個資料庫的内容,MySQL提供了mysqldump工具。

  比如

  SELECT  col1,col2 FORM TABLE 

      INTO OUTFILE '/tmp/out.csv'

  FIELDS TERMINATED BY ',' , LINES  TERMINATED  BY '\n';

  這個學格式就好,具體表看自己的。

  一旦我們把資料導出到檔案中,就可以用hadoop fs -put把該檔案,從本地linux移到HDFS上。

  2、使用Sqoop把MySQL裡的資料導入到HDFS

  $ sqoop  import  --connect  jdbc:mysql://192.168.80.128/hive  --username   hive   \ >  --password  hive   --table  employees

  注意,這裡根據自己的來,中繼資料庫名,使用者名和密碼

把MySQL裡的資料導入到Hive

  $ sqoop  import  --connect jdbc:mysql://192.168.80.128/hive   --username  hive   -password  hive  --table employees   --hive-import    --hive-table  employees

  更為詳細,見

把HDFS裡的資料導出到MySQL

  $ sqoop  export --connect  jdbc:mysql://192.168.80.128/hive  --username  hive   -password  hive  --table employees   --export-dir  edata  --input-fields-terminated-by  '\t‘

<a href="http://blog.csdn.net/zhangzhaokun/article/details/44313531">Sqoop1.4.5+hadoop2.2.0進行Mysql到HDFS的資料轉換</a>

把HDFS裡的資料導出到Hive

 $  sqoop  export  --connect jdbc://mysql://192.168.80.128/hive  -username  hive   -password  hive  --table employees  --export-dir  /user/hive/warehouse/employees   --input-fields-terminated-by  '\001'     --input-lines-terminated-by  '\n' 

本文轉自大資料躺過的坑部落格園部落格,原文連結:http://www.cnblogs.com/zlslch/p/6115754.html,如需轉載請自行聯系原作者