使用pt-fifo-split 工具往mysql插入海量数据

<a href="http://www.cnblogs.com/chenny7/p/4253337.html" target="_blank">http://www.cnblogs.com/chenny7/p/4253337.html</a>

<a href="https://www.percona.com/blog/2008/07/03/how-to-load-large-files-safely-into-innodb-with-load-data-infile/" target="_blank">https://www.percona.com/blog/2008/07/03/how-to-load-large-files-safely-into-innodb-with-load-data-infile/</a>

使用LOAD DATA INFILE语句，可以从一个文件直接加载数据到mysql中，但如果文件非常大，可能还需要对文件进行切割，分多次加载，这种情况下，可以使用pt-fifo-split工具将文件分割成多个数据块（chunks），从而控制每次传输到mysql服务器的数据量大小。

pt-fifo-split 命令用法：

例如：使用pt-fifo-split分割一个大文件，每次读1000000行：

pt-fifo-split 默认会在/tmp下面建立一个fifo文件，并读取大文件中的数据写入到fifo文件，每次达到指定行数就往fifo文件中打印一个EOF字符，读取完成以后，关闭掉fifo文件并移走，然后重建fifo文件，打印更多的行。这样可以保证你每次读取的时候都能读取到制定的行数直到读取完成。注意此工具只能工作在类unix操作系统。

常用选项：

--fifo /tmp/pt-fifo-split，指定fifo文件的路径；

--offset 0，如果不打算从第一行开始读，可以设置这个参数；

--lines 1000，每次读取的行数；

--force，如果fifo文件已经存在，就先删除它，然后重新创建一个fifo文件；

下面是一个完整的用法例子：

FLAT_FILE="/tmp/big_file.txt"

FIFO_PATH="${FLAT_FILE}.fifo"

LOAD_FILE="${FLAT_FILE}.load"

CHUNK_SIZE=10000

# Split the file

pt-fifo-split --force --lines ${CHUNK_SIZE} ${FLAT_FILE} --fifo ${FIFO_PATH} &amp;

# Sleep 10 seconds to assure ${FIFO_PATH} exists before entering loop

sleep 10

while [ -e ${FIFO_PATH} ]

do

  # Write chunk to disk

  cat ${FIFO_PATH} &gt; ${LOAD_FILE}

  # Load chunk into table

  mysql -uroot -pxxxx --database=test --show-warnings -vve "source ${LOAD_FILE}; "

done

本文转自 lirulei90 51CTO博客，原文链接：http://blog.51cto.com/lee90/1971233，如需转载请自行联系原作者