快捷導(dǎo)航

spring data jpa開啟批量插入、批量更新的問題解析

更新時(shí)間：2021年07月29日 09:29:40 作者：曲高終和寡

這篇文章主要介紹了spring data jpa開啟批量插入、批量更新問題，本文通過圖文實(shí)例相結(jié)合給大家介紹的非常詳細(xì),需要的朋友可以參考下

最近準(zhǔn)備上spring全家桶寫一下個(gè)人項(xiàng)目，該學(xué)的都學(xué)學(xué)，其中ORM框架，最早我用的是jdbcTemplate，后來用了Mybatis，唯獨(dú)沒有用過JPA（Hibernate）系的，過去覺得Hibernate太重量級(jí)了，后來隨著springboot和spring data jpa出來之后，讓我覺得好像還不錯(cuò)，再加上谷歌趨勢(shì)。。。

只有中日韓在大規(guī)模用Mybatis（我嚴(yán)重懷疑是中國(guó)的外包），所以就很奇怪，雖然說中國(guó)的IT技術(shù)在慢慢抬頭了，但是這社會(huì)IT發(fā)展的主導(dǎo)目前看來還是美國(guó)、歐洲，這里JPA、Hibernate是絕對(duì)的主流，那么我覺得學(xué)習(xí)并以JPA為主開發(fā)是我接下來個(gè)人項(xiàng)目的選擇。

那么經(jīng)過幾天簡(jiǎn)單的摸索，發(fā)現(xiàn)JPA可以說是非常的好用，尤其DDD設(shè)計(jì)思想簡(jiǎn)直完美符合現(xiàn)在springboot、微服務(wù)的設(shè)計(jì)理念（僅代表個(gè)人看法）。

不過呢，在使用過程中就會(huì)遇到一個(gè)問題，我之前寫的爬蟲插入效率非常低，一方面是因?yàn)槲曳?wù)器上Mysql表現(xiàn)的極差，詳情請(qǐng)看：

[評(píng)測(cè)]低配環(huán)境下，PostgresQL和Mysql讀寫性能簡(jiǎn)單對(duì)比（歡迎大家提出Mysql優(yōu)化意見）

另外一方面，JPA的批量插入源碼：

這saveAll明明就是循環(huán)調(diào)用save方法了啊，我們寫個(gè)簡(jiǎn)單的測(cè)試插入數(shù)據(jù)方法試一下：

我們打開了Hibernate顯示sql日志，看一下輸出結(jié)果：

看日志，JPA是先把所有的數(shù)據(jù)全查出來了，如果數(shù)據(jù)庫有就更新，沒有就新增。我們?cè)倏匆幌掳⒗锏谋O(jiān)控，如果沒有配可以按照這個(gè)文章里面的方法配

springboot2.0配置連接池（hikari、druid）

我插了5條數(shù)據(jù)，結(jié)果執(zhí)行了10次sql，這特么。。。我不太能理解，可能是我太菜了？我跑腳本至少了成千上萬條數(shù)據(jù)往庫里插，這種寫法得給我辣雞數(shù)據(jù)庫寫死。

并且這樣效率也太低了吧，查詢不會(huì)用in？insert不會(huì)拼sql？并且很多場(chǎng)景我自己能控制是插入還是新增,我根本不需要你給我校驗(yàn)一次，我只想安安靜靜的插數(shù)據(jù)，那么有沒有辦法呢？有的。

在配置文件里加入：

spring.jpa.properties.hibernate.jdbc.batch_size=500
spring.jpa.properties.hibernate.jdbc.batch_versioned_data=true
spring.jpa.properties.hibernate.order_inserts=true
spring.jpa.properties.hibernate.order_updates =true

這個(gè)batch size建議設(shè)置成你數(shù)據(jù)庫每秒最大寫入數(shù)/2 ，沒有理由只是我自己感覺這樣好一點(diǎn)。。。

自己在repository里面定義兩個(gè)接口 batchSave，batchUpdate并實(shí)現(xiàn)：

@Override
    @Transactional
    public <S extends T> Iterable<S> batchSave(Iterable<S> var1) {
        Iterator<S> iterator = var1.iterator();
        int index = 0;
        while (iterator.hasNext()){
            em.persist(iterator.next());
            index++;
            if (index % BATCH_SIZE == 0){
                em.flush();
                em.clear();
            }
        }
        if (index % BATCH_SIZE != 0){
            em.flush();
            em.clear();
        }
        return var1;
    }

@Override
    public <S extends T> Iterable<S> batchUpdate(Iterable<S> var1) {
        Iterator<S> iterator = var1.iterator();
        int index = 0;
        while (iterator.hasNext()){
            em.merge(iterator.next());
            index++;
            if (index % BATCH_SIZE == 0){
                em.flush();
                em.clear();
            }
        }
        if (index % BATCH_SIZE != 0){
            em.flush();
            em.clear();
        }
        return var1;
    }

然后對(duì)批量插入的入口稍作改動(dòng)，改成剛剛自己實(shí)現(xiàn)的調(diào)用batchSave的方法