快捷導(dǎo)航

Mybatis?大數(shù)據(jù)量批量寫(xiě)優(yōu)化的案例詳解

更新時(shí)間：2023年05月01日 09:00:09 作者：遇見(jiàn)的昨天

這篇文章主要介紹了Mybatis?大數(shù)據(jù)量批量寫(xiě)優(yōu)化的示例代碼，本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下

Mybatis 大數(shù)據(jù)量批量寫(xiě)優(yōu)化

在項(xiàng)目中使用批量數(shù)據(jù)插入，經(jīng)常會(huì)用到 mybatis的 foreach，如下：

<insert id="batchInsert" parameterType="java.util.List">
    insert into USER (id, name) values
    <foreach collection="list" item="model" index="index" separator=","> 
        (#{model.id}, #{model.name})
    </foreach>
</insert>

就是將

INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");

轉(zhuǎn)換成

INSERT INTO `table1` (`field1`, `field2`) 
VALUES ("data1", "data2"),
("data1", "data2"),
("data1", "data2"),
("data1", "data2"),
("data1", "data2");

從理論上將，復(fù)用conn，將多次io，轉(zhuǎn)換成一次io，應(yīng)該是提升效率的。但是實(shí)際上當(dāng)數(shù)據(jù)量比較大的時(shí)候，用foreach效率非常低，速度非常慢

當(dāng)表的列數(shù)較多（20+），以及一次性插入的行數(shù)較多（5000+）時(shí)，整個(gè)插入的耗時(shí)十分漫長(zhǎng)，達(dá)到了14分鐘，這是不能忍的

那為什么使用使用foreach效率如此之低呢？？

Mybatis默認(rèn)執(zhí)行器類(lèi)型為Simple，默認(rèn)會(huì)為每一個(gè)sql產(chǎn)生一個(gè)PrepareStatement，而且對(duì)于foreach無(wú)法使用緩存。如果字段和行數(shù)非常多，那么sql必然也會(huì)很長(zhǎng)，占位符也會(huì)非常多，除此之外還要建立占位符和參數(shù)之間的映射，那么解析時(shí)間必然會(huì)長(zhǎng)。因此如果values行數(shù)越多，那么解析時(shí)間必然很長(zhǎng)。執(zhí)行效率低。

在這里插入圖片描述

如果非要使用 foreach 的方式來(lái)進(jìn)行批量插入的話，可以考慮減少一條 insert 語(yǔ)句中 values 的個(gè)數(shù)，最好能達(dá)到上面曲線的最底部的值，使速度最快。一般按經(jīng)驗(yàn)來(lái)說(shuō)，一次性插20~50行數(shù)量是比較合適的，時(shí)間消耗也能接受。

那么如果要用批量插入，改如何優(yōu)化呢？

SqlSession session = sqlSessionFactory.openSession(ExecutorType.BATCH);
try {
    SimpleTableMapper mapper = session.getMapper(SimpleTableMapper.class);
    List<SimpleTableRecord> records = getRecordsToInsert(); // not shown
    BatchInsert<SimpleTableRecord> batchInsert = insert(records)
            .into(simpleTable)
            .map(id).toProperty("id")
            .map(firstName).toProperty("firstName")
            .map(lastName).toProperty("lastName")
            .map(birthDate).toProperty("birthDate")
            .map(employed).toProperty("employed")
            .map(occupation).toProperty("occupation")
            .build()
            .render(RenderingStrategy.MYBATIS3);
    batchInsert.insertStatements().stream().forEach(mapper::insert);
    session.commit();
} finally {
    session.close();
}

基本思想是將 MyBatis session 的 executor type 設(shè)為 Batch ，然后通過(guò)遍歷多次執(zhí)行插入語(yǔ)句

就類(lèi)似于JDBC的下面語(yǔ)句一樣。

Connection connection = DriverManager.getConnection("jdbc:mysql://127.0.0.1:3306/mydb?useUnicode=true&characterEncoding=UTF-8&useServerPrepStmts=false&rewriteBatchedStatements=true","root","root");
connection.setAutoCommit(false);
PreparedStatement ps = connection.prepareStatement(
        "insert into tb_user (name) values(?)");
for (int i = 0; i < stuNum; i++) {
    ps.setString(1,name);
    ps.addBatch();
}
ps.executeBatch();
connection.commit();
connection.close();

附錄：Mybatis批量處理優(yōu)化

Mybatis內(nèi)置的ExecutorType有3種，默認(rèn)的是simple單句模式，該模式下它為每個(gè)語(yǔ)句的執(zhí)行創(chuàng)建一個(gè)新的預(yù)處理語(yǔ)句，單句提交sql；batch模式重復(fù)使用已經(jīng)預(yù)處理的語(yǔ)句，并且批量執(zhí)行所有語(yǔ)句，大批量模式下性能更優(yōu)。

請(qǐng)注意batch模式在Insert操作時(shí)事務(wù)沒(méi)有提交之前，是沒(méi)有辦法獲取到自增的id，所以請(qǐng)根據(jù)業(yè)務(wù)情況使用。
使用simple模式提交10000條數(shù)據(jù)，時(shí)間為19s，batch模式為6s ，大致情況如此，優(yōu)化的具體還要看提交的語(yǔ)句情況。
如果需要使用 foreach來(lái)優(yōu)化數(shù)據(jù)插入的話，需要將每次插入的記錄控制在 10-100 左右是比較快的，建議每次100來(lái)分割數(shù)據(jù)，也就是分而治之思想。

普通插入

默認(rèn)的插入方式是遍歷insert語(yǔ)句，單條執(zhí)行，效率肯定低下，如果成堆插入，更是性能有問(wèn)題。

INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");

foreach 優(yōu)化插入

如果要優(yōu)化插入速度時(shí)，可以將許多小型操作組合到一個(gè)大型操作中。理想情況下，這樣可以在單個(gè)連接中一次性發(fā)送許多新行的數(shù)據(jù)，并將所有索引更新和一致性檢查延遲到最后才進(jìn)行。

<insert id="batchInsert" parameterType="java.util.List">
    insert into table1 (field1, field2) values
    <foreach collection="list" item="t" index="index" separator=","> 
        (#{t.field1}, #{t.field2})
    </foreach>
</insert>

翻譯成sql語(yǔ)句也就是

INSERT INTO `table1` (`field1`, `field2`) 
VALUES ("data1", "data2"),
("data1", "data2"),
("data1", "data2"),
("data1", "data2"),
("data1", "data2");

到此這篇關(guān)于Mybatis 大數(shù)據(jù)量批量寫(xiě)優(yōu)化的文章就介紹到這了,更多相關(guān)Mybatis 批量寫(xiě)優(yōu)化內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: