Mybatis批量插入數(shù)據的兩種方式總結與對比
總體描述
軟件開發(fā)過程中需要批量插入數(shù)據的場景有幾種：
- 從離線文件(excel， csv等)導入大批量數(shù)據到系統(tǒng)。
- 從其它系統(tǒng)定時或者人工同步大批量數(shù)據到系統(tǒng)。
- 程序自身的某些算法執(zhí)行時會生成大批量數(shù)據保存到數(shù)據庫。
上面這些場景都是長時間的處理過程，在軟件設計時需要將其設計成帶進度展示的異步任務(同步任務微服務有http請求超時的風險)。異步任務可以使用消息框架。
使用批量插入技術能提升數(shù)據持久化的性能。用mybatis有兩種批量插入數(shù)據的方式可選：1. 拼接批量插入多條數(shù)據的SQL. 2. 使用Batch Insert技術。
方式一：拼接插入多條數(shù)據的SQL
mapper接口代碼
/**
* 插入數(shù)據列表
*
* @param dataList 數(shù)據列表
*/
void insertDataList(@Param("list") List<BatchData> dataList);
XML文件配置
<insert id="batchInsertData" useGeneratedKeys="true" keyColumn="id" keyProperty="id">
INSERT INTO t_batch_data (
column1,
column2,
column3,
column4,
column5,
column6,
column7,
column8,
column9,
column10
) VALUES
<foreach item="data" collection="list" separator=",">
(
#{data.column1},
#{data.column2},
#{data.column3},
#{data.column4},
#{data.column5},
#{data.column6},
#{data.column7},
#{data.column8},
#{data.column9},
#{data.column10}
)
</foreach>
</insert>
可以看到，XML配置文件使用 foreach 對多條數(shù)據做了拼接，Value部分用逗號分隔。拼接后的SQL樣式：
INSERT INTO t_batch_data (
column1,
column2,
column3,
column4,
column5,
column6,
column7,
column8,
column9,
column10
) VALUES
(
?,
?,
?,
?,
?,
?,
?,
?,
?,
?
)
,
(
?,
?,
?,
?,
?,
?,
?,
?,
?,
?
)
,
(
?,
?,
?,
?,
?,
?,
?,
?,
?,
?
)
可以看到，拼接的SQL長度跟批量插入數(shù)據的條數(shù)和單條數(shù)據的字段數(shù)相關。對于像postgres這樣限定了參數(shù)個數(shù)的數(shù)據庫，需要提前對大批量數(shù)據做拆分處理。
下面的示例代碼對批量數(shù)據按200條一組做拆分，然后再入庫。
public long foreachBatchInsert(@PathVariable("amount") int amount) {
long beginTime = System.currentTimeMillis();
List<BatchData> dataList = buildDataList(amount);
// 大數(shù)據分批處理入庫
List<List<BatchData>> dataGroup = ListUtil.splitList(dataList, 200);
for (List<BatchData> group : dataGroup) {
batchInsertMapper.insertDataList(group);
}
return System.currentTimeMillis() - beginTime;
}
方式二： 使用Batch Insert技術
Mapper接口代碼
/**
* 插入單條數(shù)據
*
* @param data PO數(shù)據
*/
void insertData(@Param("data") BatchData data);XML文件配置
<insert id="insertData" useGeneratedKeys="true" keyProperty="data.id" keyColumn="id">
INSERT INTO t_batch_data (
column1,
column2,
column3,
column4,
column5,
column6,
column7,
column8,
column9,
column10
) VALUES (
#{data.column1},
#{data.column2},
#{data.column3},
#{data.column4},
#{data.column5},
#{data.column6},
#{data.column7},
#{data.column8},
#{data.column9},
#{data.column10}
)
</insert>
映射實例接口和SQL代碼與插入單個對象無異。關鍵代碼在應用層。
應用層代碼
public long mybatisBatchInsert(@PathVariable("amount") int amount) {
SqlSession session = sqlSessionFactory.openSession(ExecutorType.BATCH, false);
long beginTime = System.currentTimeMillis();
try {
BatchInsertMapper insertMapper = session.getMapper(BatchInsertMapper.class);
List<BatchData> dataList = buildDataList(amount);
for (BatchData data : dataList) {
insertMapper.insertData(data);
}
session.commit();
session.clearCache();
} catch (Exception e) {
session.rollback();
} finally {
session.close();
}
return System.currentTimeMillis() - beginTime;
}
查看打印出執(zhí)行的SQL語句：
INSERT INTO t_batch_data (
column1,
column2,
column3,
column4,
column5,
column6,
column7,
column8,
column9,
column10
) VALUES (
?,
?,
?,
?,
?,
?,
?,
?,
?,
?
)
攔截StatementHandler的prepare執(zhí)行方法，可以看到只執(zhí)行了一次預編譯。批量插入不會出現(xiàn)參數(shù)個數(shù)超限或者SQL語句超長的問題。
對比分析
性能對比
在postgres數(shù)據庫中新建了一個包含10個text類型字段的表(t_batch_data)驗證了一下，插入20萬條數(shù)據時間都在15秒左右，相差不大。方案1必須做分組(參數(shù)個數(shù)超過限制)；方案二本身是調用的mapper的插入單個對象的接口, 不需要做分批。
應用場景分析
如表字段是固定的，字段數(shù)量也不大可以使用方案一；如表字段數(shù)量不固定(元數(shù)據驅動)推薦使用第二種方案。第二種方案在代碼執(zhí)行到session.commit()時數(shù)據才真正入庫，如果在這之前使用數(shù)據庫的數(shù)據或者回填的自增ID是有問題的。
實際產品開發(fā)過程中，即使采用第二種方案也建議對大數(shù)量做分組處理，將單次操作數(shù)據庫的時間控制在2秒以內。
Demo代碼地址： https://github.com/ylforever/elon-postgres.git
總結
到此這篇關于Mybatis批量插入數(shù)據的兩種方式總結與對比的文章就介紹到這了,更多相關Mybatis批量插入數(shù)據內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
SpringBoot啟動報錯Whitelabel Error Page: This&nbs
當我們使用Spring Boot框架開發(fā)Web應用時,有時會遇到啟動報錯信息為"Whitelabel Error Page: This application has no explicit mapping for",種報錯信息意味著我們的應用缺少某個URL映射的配置,導致請求無法處理,在本篇文章中,我們將詳細討論如何解決這個問題2024-03-03
關于yml文件字符串,List,Map的書寫方式并使用@ConfigurationProperties注入配置類
這篇文章主要介紹了關于yml文件字符串,List,Map的書寫方式并使用@ConfigurationProperties注入配置類,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-12-12
這篇文章主要為大家詳細介紹了Java實現(xiàn)文件上傳至服務器的方法，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-01-01
Spring容器是Spring的核心，一切SpringBean都存儲在Spring容器內。可以說bean是spring核心中的核心。Bean配置信息定義了Bean的實現(xiàn)及依賴關系，這篇文章主要介紹了SpringBoot bean依賴屬性配置2022-09-09
mybatis?mapper.xml中如何根據數(shù)據庫類型選擇對應SQL語句
這篇文章主要介紹了mybatis?mapper.xml中如何根據數(shù)據庫類型選擇對應SQL語句，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-01-01
SpringBoot之使用Feign實現(xiàn)微服務間的交互
這篇文章主要介紹了SpringBoot中使用Feign實現(xiàn)微服務間的交互，對微服務這方面感興趣的小伙伴可以參考閱讀本文2023-03-03
這篇文章主要為大家詳細介紹了JavaCV獲取視頻文件時長的方法，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-07-07
RabbitMQ是實現(xiàn)AMQP(高級消息隊列協(xié)議)的消息中間件的一種,下面這篇文章主要給大家介紹了關于Spring?Boot集成RabbitMQ以及隊列模式操作的相關資料,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下2022-04-04
這篇文章主要為大家詳細介紹了利用session實現(xiàn)簡單購物車功能，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2022-02-02
這篇文章主要介紹了Java繼承中方法實例,非常的實用,這里推薦給大家,有需要的小伙伴可以參考下2017-04-04