天天看點

jdbc之批量插入

批量執行SQL語句

當需要成批插入或者更新記錄時,可以采用Java的批量更新機制,這一機制允許多條語句一次性送出給資料庫批量處 理。通常情況下比單獨送出處理更有效率

JDBC的批量處理語句包括下面三個方法:

addBatch(String):添加需要批量處理的SQL語句或是參數;

executeBatch():執行批量處理語句;

clearBatch():清空緩存的資料

通常我們會遇到兩種批量執行SQL語句的情況:

多條SQL語句的批量處理;

一個SQL語句的批量傳參;

高效的批量插入

舉例:向資料表中插入20000條資料

資料庫中提供一個goods表。建立如下:

CREATE TABLE goods(
id INT PRIMARY KEY AUTO_INCREMENT,
NAME VARCHAR(20)
);      

實作層次一:使用Statement  

Connection conn = JDBCUtils.getConnection();

Statement st = conn.createStatement();

for(int i = 1;i <= 20000;i++){
 String sql = "insert into goods(name) values('name_' + "+ i +")";
 st.executeUpdate(sql);
}      

實作層次二:使用PreparedStatement  

long start = System.currentTimeMillis();
 

Connection conn = JDBCUtils.getConnection();
 

String sql = "insert into goods(name)values(?)";

PreparedStatement ps = conn.prepareStatement(sql);

for(int i = 1;i <= 20000;i++){
 ps.setString(1, "name_" + i);
 ps.executeUpdate();
}
 

long end = System.currentTimeMillis();

System.out.println("花費的時間為:" + (end - start));//82340

 
 

JDBCUtils.closeResource(conn, ps);      

實作層次三 

/*

* 修改1: 使用 addBatch() / executeBatch() / clearBatch()

* 修改2:mysql伺服器預設是關閉批處理的,我們需要通過一個參數,讓mysql開啟批處理的支援。

*/

@Test

public void testInsert1() throws Exception{
 long start = System.currentTimeMillis();
 
 Connection conn = JDBCUtils.getConnection();
 
 String sql = "insert into goods(name)values(?)";
 PreparedStatement ps = conn.prepareStatement(sql);
 
 for(int i = 1;i <= 1000000;i++){
 ps.setString(1, "name_" + i);
 
 //1.“攢”sql

 ps.addBatch();
 if(i % 500 == 0){
 //2.執行

 ps.executeBatch();
 //3.清空

 ps.clearBatch();
 }
 }
 
 long end = System.currentTimeMillis();
 System.out.println("花費的時間為:" + (end - start));//20000條:625                   
                                                      //1000000條:14733  

 
 JDBCUtils.closeResource(conn, ps);
}      

 實作層次四

/*
* 層次四:在層次三的基礎上操作

* 使用Connection 的 setAutoCommit(false) / commit()
*/

@Test

public void testInsert2() throws Exception{
 long start = System.currentTimeMillis();
 
 Connection conn = JDBCUtils.getConnection();
 
 //1.設定為不自動送出資料

 conn.setAutoCommit(false);
 
 String sql = "insert into goods(name)values(?)";
 PreparedStatement ps = conn.prepareStatement(sql);
 
 for(int i = 1;i <= 1000000;i++){
 ps.setString(1, "name_" + i);
 
 //1.“攢”sql

 ps.addBatch();
if(i % 500 == 0){
 //2.執行

 ps.executeBatch();
 //3.清空

 ps.clearBatch();
 }
 }
 
 //2.送出資料

 conn.commit();
 
 long end = System.currentTimeMillis();
 System.out.println("花費的時間為:" + (end - start));//1000000條:4978 

 
 JDBCUtils.closeResource(conn, ps);
}