4.2 Hibernate的批量處理
Hibernate完全以面向對象的方式來操作資料庫,當程式裡以面向對象的方式操作持久化對象時,将被自動轉換為對資料庫的操作。例如調用Session的delete()方法來删除持久化對象,Hibernate将負責删除對應的資料記錄;當執行持久化對象的set方法時,Hibernate将自動轉換為對應的update方法,修改資料庫的對應記錄。
問題是如果需要同時更新100 000條記錄,是不是要逐一加載100 000條記錄,然後依次調用set方法——這樣不僅繁瑣,資料通路的性能也十分糟 糕。對這種批量處理的場景,Hibernate提供了批量處理的解決方案,下面分别從批量插入、批量更新和批量删除3個方面介紹如何面對這種批量處理的情 形。
4.2.1 批量插入
如果需要将100 000條記錄插入資料庫,通常Hibernate可能會采用如下做法:
Session session = sessionFactory.openSession();
Transaction tx = session.beginTransaction();
for ( int i=0; i<100000; i++ ) {
User u = new User (.....);
session.save(customer);
}
tx.commit();
session.close();
但随着這個程式的運作,總會在某個時候運作失敗,并且抛出OutOfMemoryException(記憶體溢出異常)。這是因為Hibernate的Session持有一個必選的一級緩存,所有的User執行個體都将在Session級别的緩存區進行了緩存的緣故。
為了解決這個問題,有個非常簡單的思路:定時将Session緩存的資料重新整理入資料庫,而不是一直在Session級别緩存。可以考慮設計一個累加器,每儲存一個User執行個體,累加器增加1。根據累加器的值決定是否需要将Session緩存中的資料刷入資料庫。
下面是增加100 000個User執行個體的代碼片段:
private void testUser()throws Exception
{
//打開Session
Session session = HibernateUtil.currentSession();
//開始事務
Transaction tx = session.beginTransaction();
//循環100 000次,插入100 000條記錄
for (int i = 0 ; i < 1000000 ; i++ )
{
//建立User執行個體
User u1 = new User();
u1.setName("xxxxx" + i);
u1.setAge(i);
u1.setNationality("china");
//在Session級别緩存User執行個體
session.save(u1);
//每當累加器是20的倍數時,将Session中的資料刷入資料庫,并清空Session緩存
if (i % 20 == 0)
{
session.flush();
session.clear();
tx.commit();
tx = session.beginTransaction();
}
}
//送出事務
tx.commit();
//關閉事務
HibernateUtil.closeSession();
}
上面代碼中,當i%20 == 0時,手動将Session處的緩存資料寫入資料庫,并手動送出事務。如果不送出事務,資料将依然緩存在事務處——未進入資料庫,也将引起記憶體溢出的異常。
這是對Session級别緩存的處理,還應該通過如下配置來關閉SessionFactory的二級 緩存。
hibernate.cache.use_second_level_cache false
注意:除了要手動清空Session級别的緩存外,最好關閉SessionFactory級别的二級緩存。否則,即使手動清空Session級别的緩存,但因為在SessionFactory級别還有緩存,也可能引發異常。
4.2.2 批量更新
上面介紹的方法同樣适用于批量更新資料,如果需要傳回多行資料,可以使用scroll()方法,進而可充分利用伺服器端遊标所帶來的性能優勢。下面是進行批量更新的代碼片段:
private void testUser()throws Exception
{
//打開Session
Session session = HibernateUtil.currentSession();
//開始事務
Transaction tx = session.beginTransaction();
//查詢出User表中的所有記錄
ScrollableResults users = session.createQuery("from User")
.setCacheMode(CacheMode.IGNORE)
.scroll(ScrollMode.FORWARD_ONLY);
int count=0;
//周遊User表中的全部記錄
while ( users.next() )
{
User u = (User) users.get(0);
u.setName("新使用者名" + count);
//當count為20的倍數時,将更新的結果從Session中flush到資料庫
if ( ++count % 20 == 0 )
{
session.flush();
session.clear();
}
}
tx.commit();
HibernateUtil.closeSession();
}
當然,同樣可以使用Hibernate配置來實作同樣功能:
在hibernate.cfg.xml中插入:
<property name="hibernate.jdbc.batch_size">50</property>//每50條語句送出一次
<property name="hiberante.cache.use_second_level_cache">false</property>//關閉二級緩存
通過這種方式,雖然可以執行批量更新,但效果非常不好。執行效率不高,而且需要先執行資料查詢,然後再執行資料更新,并且這種更新将是逐行更新,即每更新一行記錄,都需要執行一條update語句,性能非常低下。
為了避免這種情況,Hibernate提供了一種類似于SQL的批量更新和批量删除的HQL文法。
4.2.3 SQL風格的批量更新/删除
Hibernate提供的HQL語句也支援批量的UPDATE和DELETE文法。
批量UPDATE和DELETE語句的文法格式如下:
UPDATE | DELETE FROM? ClassName [WHERE WHERE_CONDITIONS]
關于上面的文法格式有以下四點值得注意:
● 在FROM子句中,FROM關鍵字是可選的。即完全可以不寫FROM關鍵字。
● 在FROM子句中隻能有一個類名,該類名不能有别名。
● 不能在批量HQL語句中使用連接配接,顯式的或隐式的都不行。但可以在WHERE子句中使用子查詢。
● 整個WHERE子句是可選的。
假設,需要批量更改User類執行個體的name屬性,可以采用如下代碼片段完成:
private void testUser()throws Exception
{
//打開Session
Session session = HibernateUtil.currentSession();
//開始事務
Transaction tx = session.beginTransaction();
//定義批量更新的HQL語句
String hqlUpdate = "update User set name = :newName";
//執行更新
int updatedEntities = session.createQuery( hqlUpdate )
.setString( "newName", "新名字" )
.executeUpdate();
//送出事務
tx.commit();
HibernateUtil.closeSession();
}
從上面代碼中可以看出,這種文法非常類似于PreparedStatement的executeUpdate文法。實際上,HQL的這種批量更新就是直接借鑒了SQL文法的UPDATE語句。
注意:使用這種批量更新文法時,通常隻需要執行一次SQL的UPDATE語句,就可以完成所有滿足條件記錄的更新。但也可能需要執行多條UPDATE語 句,這是因為有繼承映射等特殊情況,例如有一個Person執行個體,它有Customer的子類執行個體。當批量更新Person執行個體時,也需要更新Customer執行個體。如果采用joined-subclass或union-subclass映射政策,Person和Customer執行個體儲存在不同的表中,是以可能需要多條UPDATE語句。
執行一個HQL DELETE,同樣使用 Query.executeUpdate() 方法,下面是一次删除上面全部記錄的代碼片段:
private void testUser()throws Exception
{
//打開Session執行個體
Session session = HibernateUtil.currentSession();
//開始事務
Transaction tx = session.beginTransaction();
//定義批量删除的HQL語句
String hqlUpdate = "delete User";
//執行批量删除
int updatedEntities = session.createQuery( hqlUpdate )
.executeUpdate();
//送出事務
tx.commit();
//關閉Session
HibernateUtil.closeSession();
}
由Query.executeUpdate()方法傳回一個整型值,該值是受此操作影響的記錄數量。實際上,Hibernate的底層操作是通過JDBC 完成的。是以,如果有批量的UPDATE或DELETE操作被轉換成多條UPDATE或DELETE語句,該方法傳回的是最後一條SQL語句影響的記錄行 數。
Session session = HibernateUtil.getSessionFactory().getCurrentSession();
Transaction tran = session.beginTransaction();
session.setCacheMode(CacheMode.IGNORE);
PreparedStatement stmt;
try {
stmt = session.connection().prepareStatement("INSERT INTO EVENTS(EVENT_DATE, title) VALUES(?,?)");
for (int i = 0; i < 200000; i++) {
stmt.setTimestamp(1, new Timestamp(new Date().getTime()));
stmt.setString(2, "Title["+i+"]");
stmt.addBatch();
}
stmt.executeBatch();
} catch (SQLException e) {
e.printStackTrace();
tran.rollback();
}
tran.commit();
session.close();
HibernateUtil.getSessionFactory().close();