天天看點

盤點一個通過python大批量插入資料到資料庫的方法

大家好,我是皮皮。

一、前言

前幾天在Python白銀群【鶏啊鶏】問了一個Python資料存入資料庫的問題,一起來看看吧。

各位大佬 我想請教下通過python大批量插入資料到資料庫的方法 目前我在用的操作是以下這個模式:

sql=''
for i in list:
 sql = "insert XXX表(位址,單号,缸号,狀态,備注,時間) values('" + address + "','"+ppo+"','"+batch_no+"','待定','未生産',getdate())"
           

這樣當sql稍微大點的情況下 一次性插入就會插入失敗,想請問下各位大佬如果大批量插入的話應該用哪個方式更穩定點呢。

盤點一個通過python大批量插入資料到資料庫的方法

二、實作過程

這裡【袁學東】給了一個解答,如下所示:

用pandas, 先将批量插入資料整理成dataframe,df.to_sql(table, index=False, con=self.engine, if_exists=method),1000萬行的資料導入也隻要幾秒鐘。如果資料源是csv或excel更簡單,df = pd.read_csv("file.csv") 或df = pd.read_excel("file.xls"),然後df.to_sql()。

盤點一個通過python大批量插入資料到資料庫的方法

順利地解決了粉絲的問題。

三、總結

大家好,我是皮皮。這篇文章主要盤點了一個Python資料存資料庫的問題,文中針對該問題,給出了具體的解析和代碼實作,幫助粉絲順利解決了問題。

最後感謝粉絲【鶏啊鶏】提問,感謝【袁學東】給出的思路和代碼解析,感謝【巭孬嫑勥烎】等人參與學習交流。

【提問補充】溫馨提示,大家在群裡提問的時候。可以注意下面幾點:如果涉及到大檔案資料,可以資料脫敏後,發點demo資料來(小檔案的意思),然後貼點代碼(可以複制的那種),記得發報錯截圖(截全)。代碼不多的話,直接發代碼文字即可,代碼超過50行這樣的話,發個.py檔案就行。

盤點一個通過python大批量插入資料到資料庫的方法