把MySQL裡的資料導入到HDFS
1、使用MySQL工具手工導入
把MySQL的導出資料導入到HDFS的最簡單方法就是,使用指令行工具和MySQL語句。
為了導出整個資料表或整個資料庫的内容,MySQL提供了mysqldump工具。
比如
SELECT col1,col2 FORM TABLE
INTO OUTFILE '/tmp/out.csv'
FIELDS TERMINATED BY ',' , LINES TERMINATED BY '\n';
這個學格式就好,具體表看自己的。
一旦我們把資料導出到檔案中,就可以用hadoop fs -put把該檔案,從本地linux移到HDFS上。
2、使用Sqoop把MySQL裡的資料導入到HDFS
$ sqoop import --connect jdbc:mysql://192.168.80.128/hive --username hive \ > --password hive --table employees
注意,這裡根據自己的來,中繼資料庫名,使用者名和密碼
把MySQL裡的資料導入到Hive
$ sqoop import --connect jdbc:mysql://192.168.80.128/hive --username hive -password hive --table employees --hive-import --hive-table employees
更為詳細,見
把HDFS裡的資料導出到MySQL
$ sqoop export --connect jdbc:mysql://192.168.80.128/hive --username hive -password hive --table employees --export-dir edata --input-fields-terminated-by '\t‘
<a href="http://blog.csdn.net/zhangzhaokun/article/details/44313531">Sqoop1.4.5+hadoop2.2.0進行Mysql到HDFS的資料轉換</a>
把HDFS裡的資料導出到Hive
$ sqoop export --connect jdbc://mysql://192.168.80.128/hive -username hive -password hive --table employees --export-dir /user/hive/warehouse/employees --input-fields-terminated-by '\001' --input-lines-terminated-by '\n'
本文轉自大資料躺過的坑部落格園部落格,原文連結:http://www.cnblogs.com/zlslch/p/6115754.html,如需轉載請自行聯系原作者