天天看點

mysql 導入tsv檔案,MySQL導出TSV格式檔案

可以使用mysqldump, 也可以使用mysql -e

使用mysqldump

因為要使用到 -T / --tab 參數, 需要先檢視mysql設定的secure_file_priv

mysql> select @@secure_file_priv;

+-----------------------+

| @@secure_file_priv |

+-----------------------+

| /var/lib/mysql-files/ |

+-----------------------+

1 row in set (0.00 sec)

在使用 -T / --tab 參數時, 必須使用上面的位址, 否則會報如下錯誤

mysqldump: Got error: 1290: The MySQL server is running with the --secure-file-priv option so it cannot execute this statement when executing 'SELECT INTO OUTFILE'

于是導出的指令為

sudo mysqldump -h 127.0.0.1 -u root -p -T /var/lib/mysql-files/ demodb demo_table

如果目前使用者在此目錄無寫權限, 需要使用sudo. 在 /var/lib/mysql-files/ 路徑下會生成對應table的sql檔案和txt檔案, 其中sql檔案存儲的是表結構, txt存儲的是以tab分隔的記錄.

使用mysql -e

# 導出資料

mysql --user=root --password='' phineas_and_ferb -e "SELECT * FROM characters INTO OUTFILE '~/tmp/data.txt' FIELDS TERMINATED BY '\t' OPTIONALLY ENCLOSED BY '\"' LINES TERMINATED BY '\n';"

# 如果需要導出表頭

mysql --user=root --password='' -e "SELECT GROUP_CONCAT(COLUMN_NAME SEPARATOR '\t') FROM INFORMATION_SCHEMA.COLUMNS WHERE table_schema='phineas_and_ferb' and table_name='characters' INTO OUTFILE '~/tmp/output.txt' FIELDS TERMINATED BY '\t' OPTIONALLY ENCLOSED BY '' ESCAPED BY '' LINES TERMINATED BY '\n';"

cat ~/tmp/data.txt >> ~/tmp/output.txt

因為這種情況下實際是mysqld在寫檔案, 是以可以不需要sudo權限.

在實際測試中, 導出約5kw條記錄(最終tsv檔案大小為2.6GB)使用了13分鐘.