摘要:使用.NET相關技術向資料庫中插入海量資料是常用操作。本文對比ADO.NET和LINQ兩種技術,分别使用SqlBulkCopy()和InsertAllOnSubmit()方法進行操作。得出結論:相同插入工作量(1w條資料)插入效率相差200倍之巨!
測試場景:
準備兩個資料庫TestDb和TestDb2,有表:T_Users。表結構如下圖所示:
![](https://img.laitimes.com/img/9ZDMuAjOiMmIsIjOiQnIsIiclRnblN0LclHdpZXYyd2LcBzNvwVZ2x2bzNXak9CX90TQNNkRrFlQKBTSvwFbslmZvwFMwQzLcVmepNHdu9mZvwFVywUNMZTY18CX052bm9CX9UFRPVTR6pVd502Y1ZUbaZXUYpVd1kmYr50MZV3YyI2cKJDT29GRjBjUIF2LcRHelR3LcJzLctmch1mclRXY39TMyQjNwMjMwEzNwETM0EDMy8CX0Vmbu4GZzNmLn9Gbi1yZtl2Lc9CX6MHc0RHaiojIsJye.jpg)
SqlBulkCopy()插入方法如下:
private static Stopwatch InsertUsingSqlBulkCopy(List<UserInMemory> list)
{
Stopwatch stopWatch = new Stopwatch();
stopWatch.Start();
DataTable dt = new DataTable();
dt.Columns.Add("ID");
dt.Columns.Add("UserName");
for (int i = 0; i < list.Count; i++)
{
DataRow row = dt.NewRow();
row["ID"] = list[i].ID;
row["UserName"] = list[i].UserName;
dt.Rows.Add(row);
}
using (SqlConnection con = new SqlConnection(connStr2))
{
con.Open();
using (SqlBulkCopy bulkCopy = new SqlBulkCopy(con))
{
try
{
bulkCopy.DestinationTableName = "dbo.T_UserName";
bulkCopy.ColumnMappings.Add("ID", "ID");
bulkCopy.ColumnMappings.Add("UserName", "UserName");
bulkCopy.WriteToServer(dt);
}
catch (Exception ex)
{
Console.WriteLine(ex.ToString());
}
finally { con.Close(); }
}
}
stopWatch.Stop();
return stopWatch;
}
LINQ插入方法如下所示:
private static Stopwatch InsertUsingLINQ(List<T_User> _list)
{
Stopwatch stopWatch = new Stopwatch();
stopWatch.Start();
DataClasses1DataContext dataContext = new DataClasses1DataContext();
dataContext.T_Users.InsertAllOnSubmit(_list);
dataContext.SubmitChanges();
stopWatch.Stop();
return stopWatch;
}
使用上述代碼分别導入1萬條User資料進入資料庫。
得到結果如下圖所示:
相同插入工作量(1w條資料)前提下,結論:
1 ADO.NET下SqlBulkCopy()方法是LINQ TO SQL下InsertAllOnSubmit()方法插入效率相差266倍之巨!
2 LINQ使用便捷、代碼簡短、學習成本低,語言表達優雅;但是,如果對效率要求較高的海量資料相關操作優先推薦使用ADO.NET方法。
注意事項:
如果在導入資料過程中提示“逾時相關操作”,請在WriteToServer()方法前加入如下代碼:
bulkCopy.BulkCopyTimeout = 3600;
bulkCopy.BatchSize = 3000;
bulkCopy.WriteToServer(dt);
BatchSize為每次傳輸數量的設定。
BulkCopyTimeout為逾時上限秒數。
相關源碼下載下傳位址:http://download.csdn.net/detail/fanrong1985/8130953