欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Hibernate批量處理海量數(shù)據(jù)的方法

 更新時(shí)間:2016年03月24日 11:33:12   作者:淡野之夢(mèng)  
這篇文章主要介紹了Hibernate批量處理海量數(shù)據(jù)的方法,較為詳細(xì)的分析了Hibernate批量處理海量數(shù)據(jù)的原理與相關(guān)實(shí)現(xiàn)技巧,需要的朋友可以參考下

本文實(shí)例講述了Hibernate批量處理海量數(shù)據(jù)的方法。分享給大家供大家參考,具體如下:

Hibernate批量處理海量其實(shí)從性能上考慮,它是很不可取的,浪費(fèi)了很大的內(nèi)存。從它的機(jī)制上講,Hibernate它是先把符合條件的數(shù)據(jù)查出來(lái),放到內(nèi)存當(dāng)中,然后再進(jìn)行操作。實(shí)際使用下來(lái)性能非常不理想,在筆者的實(shí)際使用中采用下面的第三種優(yōu)化方案的數(shù)據(jù)是:100000條數(shù)據(jù)插入數(shù)據(jù)庫(kù), 需要約30分鐘,呵呵,暈倒。(本人10分鐘插入1000000條數(shù)據(jù)(字段比較小))

總結(jié)下來(lái)有三種來(lái)處理以解決性能問(wèn)題:

1:繞過(guò)Hibernate API ,直接通過(guò) JDBC API 來(lái)做,這個(gè)方法性能上是比較好的。也是最快的。

2:運(yùn)用存儲(chǔ)過(guò)程。

3:還是用Hibernate API 來(lái)進(jìn)行常規(guī)的批量處理,可以也有變,變就變?cè)?,我們可以在查找出一定的量的時(shí)候,及時(shí)的將這些數(shù)據(jù)做完操作就 刪掉,session.flush();session.evict(XX對(duì)象集); 這樣也可以挽救一點(diǎn)性能損失。這個(gè)"一定的量"要就要根據(jù)實(shí)際情況做定量參考了。一般為30-60左右,但效果仍然不理想。

1:繞過(guò)Hibernate API ,直接通過(guò) JDBC API 來(lái)做,這個(gè)方法性能上是比較好的,也是最快的。(實(shí)例為 更新操作)

Transaction tx=session.beginTransaction(); //注意用的是hibernate事務(wù)處理邊界
Connection conn=session.connection();
PreparedStatement stmt=conn.preparedStatement("update CUSTOMER as C set C.sarlary=c.sarlary+1 where c.sarlary>1000");
stmt.excuteUpdate();
tx.commit(); //注意用的是hibernate事務(wù)處理邊界

這小程序中,采用的是直接調(diào)用JDBC 的API 來(lái)訪問(wèn)數(shù)據(jù)庫(kù),效率很高。避免了Hibernate 先查詢出來(lái)加載到內(nèi)存,再進(jìn)行操作引發(fā)的性能問(wèn)題
。
2:運(yùn)用存儲(chǔ)過(guò)程。但這種方式考慮到易植和程序部署的方便性,不建議使用。(實(shí)例為 更新操作)

如果底層數(shù)據(jù)庫(kù)(如Oracle)支持存儲(chǔ)過(guò)程,也可以通過(guò)存儲(chǔ)過(guò)程來(lái)執(zhí)行批量更新。存儲(chǔ)過(guò)程直接在數(shù)據(jù)庫(kù)中運(yùn)行,速度更加快。在Oracle數(shù)據(jù)庫(kù)中可以定義一個(gè)名為batchUpdateCustomer()的存儲(chǔ)過(guò)程,代碼如下:

復(fù)制代碼 代碼如下:
create or replace procedure batchUpdateCustomer(p_age in number) as begin update CUSTOMERS set AGE=AGE+1 where AGE>p_age;end;

以上存儲(chǔ)過(guò)程有一個(gè)參數(shù)p_age,代表客戶的年齡,應(yīng)用程序可按照以下方式調(diào)用存儲(chǔ)過(guò)程:

tx = session.beginTransaction();
Connection con=session.connection();
String procedure = "{call batchUpdateCustomer(?) }";
CallableStatement cstmt = con.prepareCall(procedure);
cstmt.setInt(1,0); //把年齡參數(shù)設(shè)為0
cstmt.executeUpdate();
tx.commit();

從上面程序看出,應(yīng)用程序也必須繞過(guò)Hibernate API,直接通過(guò)JDBC API來(lái)調(diào)用存儲(chǔ)過(guò)程。

3:還是用Hibernate API 來(lái)進(jìn)行常規(guī)的批量處理,可以也有變,變就變?cè)?,我們可以在查找出一定的量的時(shí)候,及時(shí)的將這些數(shù)據(jù)做完操作就刪掉,session.flush();session.evict(XX對(duì)象集); 這樣也可以挽救一點(diǎn)性能損失。這個(gè)"一定的量"要就要根據(jù)實(shí)際情況做定量參考了……
(實(shí)例為 保存操作)

業(yè)務(wù)邏輯為:我們要想數(shù)據(jù)庫(kù)插入10 0000 條數(shù)據(jù)

tx=session.beginTransaction();
for(int i=0;i<100000;i++)
{
Customer custom=new Customer();
custom.setName("user"+i);
session.save(custom);
if(i%50==0) // 以每50個(gè)數(shù)據(jù)作為一個(gè)處理單元,也就是我上面說(shuō)的"一定的量",這個(gè)量是要酌情考慮的
{
session.flush();
session.clear();
}
}

這樣可以把系統(tǒng)維持在一個(gè)穩(wěn)定的范圍……

在項(xiàng)目的開(kāi)發(fā)過(guò)程之中,由于項(xiàng)目需求,我們常常需要把大批量的數(shù)據(jù)插入到數(shù)據(jù)庫(kù)。數(shù)量級(jí)有萬(wàn)級(jí)、十萬(wàn)級(jí)、百萬(wàn)級(jí)、甚至千萬(wàn)級(jí)別的。如此數(shù)量級(jí)別的數(shù)據(jù)用Hibernate做插入操作,就可能會(huì)發(fā)生異常,常見(jiàn)的異常是OutOfMemoryError(內(nèi)存溢出異常)。

首先,我們簡(jiǎn)單來(lái)回顧一下Hibernate插入操作的機(jī)制。Hibernate要對(duì)它內(nèi)部緩存進(jìn)行維護(hù),當(dāng)我們執(zhí)行插入操作時(shí),就會(huì)把要操作的對(duì)象全部放到自身的內(nèi)部緩存來(lái)進(jìn)行管理。

談到Hibernate的緩存,Hibernate有內(nèi)部緩存與二級(jí)緩存之說(shuō)。由于Hibernate對(duì)這兩種緩存有著不同的管理機(jī)制,對(duì)于二級(jí)緩存,我們可以對(duì)它的大小進(jìn)行相關(guān)配置,而對(duì)于內(nèi)部緩存,Hibernate就采取了"放任自流"的態(tài)度了,對(duì)它的容量并沒(méi)有限制?,F(xiàn)在癥結(jié)找到了,我們做海量數(shù)據(jù)插入的時(shí)候,生成這么多的對(duì)象就會(huì)被納入內(nèi)部緩存(內(nèi)部緩存是在內(nèi)存中做緩存的),這樣你的系統(tǒng)內(nèi)存就會(huì)一點(diǎn)一點(diǎn)的被蠶食,如果最后系統(tǒng)被擠"炸"了,也就在情理之中了。

我們想想如何較好的處理這個(gè)問(wèn)題呢?有的開(kāi)發(fā)條件又必須使用Hibernate來(lái)處理,當(dāng)然有的項(xiàng)目比較靈活,可以去尋求其他的方法。

筆者在這里推薦兩種方法:

(1):優(yōu)化Hibernate,程序上采用分段插入及時(shí)清除緩存的方法。
(2):繞過(guò)Hibernate API ,直接通過(guò) JDBC API 來(lái)做批量插入,這個(gè)方法性能上是最 好的,也是最快的。

對(duì)于上述中的方法1,其基本是思路為:優(yōu)化Hibernate,在配置文件中設(shè)置hibernate.jdbc.batch_size參數(shù),來(lái)指定每次提交SQL的數(shù)量;程序上采用分段插入及時(shí)清除緩存的方法(Session實(shí)現(xiàn)了異步write-behind,它允許Hibernate顯式地寫(xiě)操作的批處理),也就是每插入一定量的數(shù)據(jù)后及時(shí)的把它們從內(nèi)部緩存中清除掉,釋放占用的內(nèi)存。

設(shè)置hibernate.jdbc.batch_size參數(shù),可參考如下配置。

<hibernate-configuration> <session-factory>……
<property name=" hibernate.jdbc.batch_size">50</property>……
<session-factory> <hibernate-configuration>

配置hibernate.jdbc.batch_size參數(shù)的原因就是盡量少讀數(shù)據(jù)庫(kù),hibernate.jdbc.batch_size參數(shù)值越大,讀數(shù)據(jù)庫(kù)的次數(shù)越少,速度越快。從上面的配置可以看出,Hibernate是等到程序積累到了50個(gè)SQL之后再批量提交。

筆者也在想,hibernate.jdbc.batch_size參數(shù)值也可能不是設(shè)置得越大越好,從性能角度上講還有待商榷。這要考慮實(shí)際情況,酌情設(shè)置,一般情形設(shè)置30、50就可以滿足需求了。

程序?qū)崿F(xiàn)方面,筆者以插入10000條數(shù)據(jù)為例子,如

Session session=HibernateUtil.currentSession();
Transatcion tx=session.beginTransaction();
for(int i=0;i<10000;i++)
{
Student st=new Student();
st.setName("feifei");
session.save(st);
if(i%50==0) //以每50個(gè)數(shù)據(jù)作為一個(gè)處理單元
{
session.flush(); //保持與數(shù)據(jù)庫(kù)數(shù)據(jù)的同步
session.clear(); //清除內(nèi)部緩存的全部數(shù)據(jù),及時(shí)釋放出占用的內(nèi)存
}
}
tx.commit();
……

在一定的數(shù)據(jù)規(guī)模下,這種做法可以把系統(tǒng)內(nèi)存資源維持在一個(gè)相對(duì)穩(wěn)定的范圍。

注意:前面提到二級(jí)緩存,筆者在這里有必要再提一下。如果啟用了二級(jí)緩存,從機(jī)制上講Hibernate為了維護(hù)二級(jí)緩存,我們?cè)谧霾迦?、更新、刪除操作時(shí),Hibernate都會(huì)往二級(jí)緩存充入相應(yīng)的數(shù)據(jù)。性能上就會(huì)有很大損失,所以筆者建議在批處理情況下禁用二級(jí)緩存。

對(duì)于方法2,采用傳統(tǒng)的JDBC的批處理,使用JDBC API來(lái)處理。

些方法請(qǐng)參照java 批處理自執(zhí)行SQL

看看上面的代碼,是不是總覺(jué)得有不妥的地方?對(duì),沒(méi)發(fā)現(xiàn)么!這還是JDBC的傳統(tǒng)編程,沒(méi)有一點(diǎn)Hibernate味道。

可以對(duì)以上的代碼修改成下面這樣:

Transaction tx=session.beginTransaction(); //使用Hibernate事務(wù)處理
Connection conn=session.connection();
PrepareStatement stmt=conn.prepareStatement("insert into T_STUDENT(name) values(?)");
for(int j=0;j++;j<200){
for(int i=0;i++;j<50)
{
stmt.setString(1,"feifei");
}
}
stmt.executeUpdate();
tx.commit(); //使用 Hibernate事務(wù)處理邊界
……

這樣改動(dòng)就很有Hibernate的味道了。筆者經(jīng)過(guò)測(cè)試,采用JDBC API來(lái)做批量處理,性能上比使用Hibernate API要高將近10倍,性能上JDBC 占優(yōu)這是無(wú)疑的。

批量更新與刪除Hibernate2中,對(duì)于批量更新操作,Hibernate是將符合要求的數(shù)據(jù)查出來(lái),然后再做更新操作。批量刪除也是這樣,先把符合條件的數(shù)據(jù)查出來(lái),然后再做刪除操作。

這樣有兩個(gè)大缺點(diǎn):

(1):占用大量的內(nèi)存。
(2):處理海量數(shù)據(jù)的時(shí)候,執(zhí)行update/delete語(yǔ)句就是海量了,而且一條update/delete語(yǔ)句只能操作一個(gè)對(duì)象,這樣頻繁的操作數(shù)據(jù)庫(kù),性能低下應(yīng)該是可想而知的了。

Hibernate3 發(fā)布后,對(duì)批量更新/刪除操作引入了bulk update/delete,其原理就是通過(guò)一條HQL語(yǔ)句完成批量更新/刪除操作,很類似JDBC的批量更新/刪除操作。在性能上,比Hibernate2的批量更新/刪除有很大的提升。

Transaction tx=session.beginSession();
String HQL="delete STUDENT";
Query query=session.createQuery(HQL);
int size=query.executeUpdate();
tx.commit();
……

控制臺(tái)輸出了也就一條刪除語(yǔ)句Hibernate:delete from T_STUDENT,語(yǔ)句執(zhí)行少了,性能上也與使用JDBC相差無(wú)幾,是一個(gè)提升性能很好的方法。當(dāng)然為了有更好的性能,筆者建議批量更新與刪除操作還是使用JDBC,方法以及基本的知識(shí)點(diǎn)與上面的批量插入方法2基本相同,這里就不在冗述。

筆者這里再提供一個(gè)方法,就是從數(shù)據(jù)庫(kù)端來(lái)考慮提升性能,在Hibernate程序端調(diào)用存儲(chǔ)過(guò)程。存儲(chǔ)過(guò)程在數(shù)據(jù)庫(kù)端運(yùn)行,速度更快。以批量更新為例,給出參考代碼。

首先在數(shù)據(jù)庫(kù)端建立名為batchUpdateStudent存儲(chǔ)過(guò)程:

create or replace produre batchUpdateStudent(a in number) as
begin
update STUDENT set AGE=AGE+1 where AGE>a;
end;

調(diào)用代碼如下:

Transaction tx=session.beginSession();
Connection conn=session.connection();
String pd="……{call batchUpdateStudent(?)}";
CallableStatement cstmt=conn.PrepareCall(pd);
cstmt.setInt(1,20); //把年齡這個(gè)參數(shù)設(shè)為20
tx.commit();

觀察上面的代碼,也是繞過(guò)Hibernate API,使用 JDBC API來(lái)調(diào)用存儲(chǔ)過(guò)程,使用的還是Hibernate的事務(wù)邊界。存儲(chǔ)過(guò)程無(wú)疑是提高批量處理性能的一個(gè)好方法,直接運(yùn)行與數(shù)據(jù)庫(kù)端,某種程度上講把批處理的壓力轉(zhuǎn)接給了數(shù)據(jù)庫(kù)。

編后語(yǔ)

本文探討了Hibernate的批處理操作,出發(fā)點(diǎn)都是在提高性能上考慮了,也只是提供了提升性能的一個(gè)小方面。

不管采取什么樣的方法,來(lái)提升性能都要根據(jù)實(shí)際的情況來(lái)考慮,為用戶提供一個(gè)滿足需求的而且高效穩(wěn)定的系統(tǒng)才是重中之中。

希望本文所述對(duì)大家Hibernate程序設(shè)計(jì)有所幫助。

相關(guān)文章

  • java SpringSecurity使用詳解

    java SpringSecurity使用詳解

    這篇文章主要介紹了java中Spring Security的實(shí)例詳解的相關(guān)資料,spring security是一個(gè)多方面的安全認(rèn)證框架,提供了基于JavaEE規(guī)范的完整的安全認(rèn)證解決方案,需要的朋友可以參考下
    2021-08-08
  • struts2.3.24+spring4.1.6+hibernate4.3.11+mysql5.5.25開(kāi)發(fā)環(huán)境搭建圖文教程

    struts2.3.24+spring4.1.6+hibernate4.3.11+mysql5.5.25開(kāi)發(fā)環(huán)境搭建圖文

    這篇文章主要介紹了struts2.3.24+spring4.1.6+hibernate4.3.11+mysql5.5.25開(kāi)發(fā)環(huán)境搭建圖文教程,感興趣的小伙伴們可以參考一下
    2016-06-06
  • maven打包失敗踩坑的解決方式詳解

    maven打包失敗踩坑的解決方式詳解

    最近因?yàn)樾马?xiàng)目有很多自定義的jar包,而且占內(nèi)存很多,就直接拷貝過(guò)來(lái),新開(kāi)了一個(gè)maven倉(cāng)庫(kù),用的時(shí)候沒(méi)有問(wèn)題,但是打包一直編譯不通過(guò),下面這篇文章主要給大家介紹了關(guān)于maven打包失敗踩坑的解決方式,需要的朋友可以參考下
    2023-05-05
  • idea +junit單元測(cè)試獲取不到bean注入的解決方式

    idea +junit單元測(cè)試獲取不到bean注入的解決方式

    這篇文章主要介紹了idea +junit單元測(cè)試獲取不到bean注入的解決方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2020-08-08
  • Java List轉(zhuǎn)換成String數(shù)組幾種實(shí)現(xiàn)方式詳解

    Java List轉(zhuǎn)換成String數(shù)組幾種實(shí)現(xiàn)方式詳解

    這篇文章主要介紹了Java List轉(zhuǎn)換成String數(shù)組幾種實(shí)現(xiàn)方式詳解的相關(guān)資料,需要的朋友可以參考下
    2016-12-12
  • 淺談springcloud常用依賴和配置

    淺談springcloud常用依賴和配置

    鑒于很多小伙伴常問(wèn)spring cloud常用依賴和配置,今天特地整理了本篇文章,文中有非常詳細(xì)的代碼示例,對(duì)正在學(xué)習(xí)的小伙伴們很有幫助,需要的朋友可以參考下
    2021-05-05
  • JPA自定義對(duì)象接收查詢結(jié)果集操作

    JPA自定義對(duì)象接收查詢結(jié)果集操作

    這篇文章主要介紹了JPA自定義對(duì)象接收查詢結(jié)果集操作,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2021-01-01
  • 一步步教你如何使用Java實(shí)現(xiàn)WebSocket

    一步步教你如何使用Java實(shí)現(xiàn)WebSocket

    websocket協(xié)議是基于TCP的一種新的網(wǎng)絡(luò)協(xié)議,它實(shí)現(xiàn)了瀏覽器與服務(wù)器的全雙工通訊-允許服務(wù)器主動(dòng)發(fā)起信息個(gè)客戶端,websocket是一種持久協(xié)議,http是非持久協(xié)議,下面這篇文章主要給大家介紹了關(guān)于如何使用Java實(shí)現(xiàn)WebSocket的相關(guān)資料,需要的朋友可以參考下
    2023-05-05
  • Java語(yǔ)法基礎(chǔ)之選擇結(jié)構(gòu)的if語(yǔ)句、switch語(yǔ)句詳解

    Java語(yǔ)法基礎(chǔ)之選擇結(jié)構(gòu)的if語(yǔ)句、switch語(yǔ)句詳解

    這篇文章主要為大詳細(xì)介紹了Java語(yǔ)法基礎(chǔ)之選擇結(jié)構(gòu)的if語(yǔ)句、switch語(yǔ)句,感興趣的小伙伴們可以參考一下
    2016-09-09
  • idea 創(chuàng)建 maven web 工程流程(圖文教程)

    idea 創(chuàng)建 maven web 工程流程(圖文教程)

    這篇文章主要介紹了idea 創(chuàng)建 maven web 工程流程(圖文教程),小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
    2018-05-05

最新評(píng)論