對于一些資料量較大的系統,資料庫面臨的問題除了查詢效率低下,還有就是資料入庫時間長。特别像報表系統,每天花費在資料導入上的時間可能會長達幾個小時或十幾個小時之久。是以,優化資料庫插入性能是很有意義的。
經過對MySQL InnoDB的一些性能測試,發現一些可以提高insert效率的方法,供大家參考參考。
常用的插入語句如:
修改成:
修改後的插入操作能夠提高程式的插入效率。這裡第二種SQL執行效率高的主要原因是: (1)通過合并SQL語句,同時也能減少SQL語句解析的次數,減少了資料庫連接配接的I/O開銷,一般會把多條資料插入放在一條SQL語句中一次執行; (2)合并後日志量(MySQL的binlog和innodb的事務讓日志)減少了,降低日志刷盤的資料量和頻率,進而提高效率。
這裡提供一些測試對比資料,分别是進行單條資料的導入與轉化成一條SQL語句進行導入,分别測試1百、1千、1萬條資料記錄。

批量插入的确是比一條條插入效率高的多
批量插入如果資料量太大可能出現下面的情況:
MySQL報錯:Packets larger than max_allowed_packet are not allowed (通過修改max_allowed_packet的值來解決,show VARIABLES like '%max_allowed_packet%';)
把插入修改成:
使用事務可以提高資料的插入效率,這是因為進行一個INSERT操作時,MySQL内部會建立一個事務,在事務内才進行真正插入處理操作。通過使用事務可以減少建立事務的消耗,<code>所有插入都在執行後才進行送出操作</code>。
這裡也提供了測試對比,分别是不使用事務與使用事務在記錄數為1百、1千、1萬的情況。
資料有序的插入是指插入記錄在主鍵上是有序排列,例如datetime是記錄的主鍵:
由于資料庫插入時,需要維護索引資料,<code>無序的記錄會增大維護索引的成本</code>。我們可以參照InnoDB使用的B+tree索引,如果每次插入記錄都在索引的最後面,索引的定位效率很高,并且對索引調整較小;如果插入的記錄在索引中間,需要B+tree進行分裂合并等處理,會消耗比較多計算資源,并且插入記錄的索引定位效率會下降,資料量較大時會有頻繁的磁盤操作。
下面提供随機資料與順序資料的性能對比,分别是記錄為1百、1千、1萬、10萬、100萬。
從測試結果來看,該優化方法的性能有所提高,但是提高并不是很明顯。
這裡提供了同時使用上面三種方法進行INSERT效率優化的測試。
從測試結果可以看到,合并資料+事務的方法在較小資料量時,性能提高是很明顯的,資料量較大時(1千萬以上),性能會急劇下降,這是由于此時資料量超過了innodb_buffer的容量,每次定位索引涉及較多的磁盤讀寫操作,性能下降較快。而使用合并資料+事務+有序資料的方式在資料量達到千萬級以上表現依舊是良好,在資料量較大時,有序資料索引定位較為友善,不需要頻繁對磁盤進行讀寫操作,是以可以維持較高的性能。
注意事項:
<code>SQL語句是有長度限制</code>,在進行資料合并在同一SQL中務必不能超過SQL長度限制,通過max_allowed_packet配置可以修改,預設是1M,測試時修改為8M。
<code>事務需要控制大小</code>,事務太大可能會影響執行的效率。MySQL有innodb_log_buffer_size配置項,超過這個值會把innodb的資料刷到磁盤中,這時,效率會有所下降。是以比較好的做法是,在資料達到這個這個值前進行事務送出。
資料批量操作
批量執行更新sql語句的優缺點分析:
情況一:mysql 預設是autocommit=on也就是預設開啟自動送出事務。這種情況下,一條sql就會開啟一個事務,這時候同時執行一萬條update,就會導緻實際開啟一萬個事務,然後挨個執行,挨個開啟,挨個送出。
缺點:同時鎖住資料較少,但是資料庫資源占用嚴重,對外提供操作性能急劇下降。
情況二:當autocommit=off時,同時執行一萬條update,那麼隻會開啟一個事務,等到所有都update後,一并commit。
缺點:同時鎖住資料較多,外面的select進不來,大量連接配接等待擷取行鎖,同樣影響資料庫對外服務能力。
最終優化方案:
建議,把autocommit設定off,然後執行update的時候,手動分批commit,分批條數限制100,或者200,比如一萬條update,按照每100條 就commit一次,10000個update總共需要100個事務,每次鎖住100條資料。性能将會得到很大提升。
當然,選擇多少條手動commit,這個需要根據各自業務實際情況而定。