java數(shù)據(jù)庫批量插入數(shù)據(jù)的實現(xiàn)
前言
本篇文章將記錄幾種使用java向mysql數(shù)據(jù)庫中批量插入數(shù)據(jù)的方法，比如插入1000條，10000條，10萬條甚至100萬條數(shù)據(jù)。操作數(shù)據(jù)庫的方式采用Mybatis框架。
輸入的數(shù)據(jù)：
現(xiàn)數(shù)據(jù)庫有一個student表，表中字段如下：
編寫student實體類，及其controller和dao層，因為只是插入數(shù)據(jù)所以不需要加service層。
方法一
最簡單的方法就是利用循環(huán)，不斷執(zhí)行單條數(shù)據(jù)的插入指令。
因此在dao中寫一個insertStudent方法，并在xml文件中編寫sql語句
void insertStudent(Student student);
<insert id="insertStudent" parameterType="com.example.bootdemo.entity.Student">
insert into student (s_name,s_birth,s_sex) values (#{s_name},#{s_birth},#{s_sex})
</insert>隨后在controller中編寫循環(huán)條用該方法，比如循環(huán)插入1000條數(shù)據(jù)，代碼如下：
@ResponseBody
@RequestMapping("/insertstudent")
public Integer insertStudent(){
System.out.println("開始插入");
long start = System.currentTimeMillis();
/**
* 依靠循環(huán)插入
*/
for (int i = 0; i < 1000; i++) {
Student student = new Student();
student.setS_birth("20230206");
student.setS_name("zjd");
student.setS_sex("男");
studentDao.insertStudent(student);
}
long end = System.currentTimeMillis();
System.out.println("耗時："+(end-start));
return 1;
}這種方式雖然可以實現(xiàn)，但是效率比較慢，因為每次執(zhí)行插入都要執(zhí)行一次sql，速度很慢。
方法二
在所有要插入的數(shù)據(jù)放在列表中，并在sql中利用foreach進行批量插入。這樣執(zhí)行一次sql就可以插入很多數(shù)據(jù)。
xml編寫中編寫sql
<insert id="batchInsertStudent" parameterType="java.util.List">
insert into student (s_name,s_birth,s_sex) values
<foreach collection="students" item="student" index="index" separator=",">
(
#{student.s_name},
#{student.s_birth},
#{student.s_sex}
)
</foreach>
</insert>將數(shù)據(jù)方法List中執(zhí)行sql語句。
@ResponseBody
@RequestMapping("/insertstudent")
public Integer insertStudent(){
System.out.println("開始插入");
long start = System.currentTimeMillis();
/**
* 批量插入，大量數(shù)據(jù)時不推薦使用
*/
List<Student> students = new ArrayList<>(count);
for(int i=0;i<count;i++){
Student student = new Student();
student.setS_name("zjd"+i);
student.setS_birth("20230206");
student.setS_name("zjd");
student.setS_sex("男");
students.add(student);
}
studentDao.batchInsertStudent(students);
long end = System.currentTimeMillis();
System.out.println("耗時："+(end-start));
return 1;
}這兩種方法在數(shù)據(jù)量很大時都不推薦使用，第一種會很慢，第二種可能會因為數(shù)據(jù)過多，sql執(zhí)行失敗，直接報錯。
方法三
既然第二種在插入大量數(shù)據(jù)時會報錯，那么面對大量數(shù)據(jù)，我們可以將其分批插入，比如我可以每次直插入3000條數(shù)據(jù)，執(zhí)行多次就可以實現(xiàn)大量數(shù)據(jù)的插入。
代碼如下：
@ResponseBody
@RequestMapping("/insertstudent")
public Integer insertStudent() throws InterruptedException {
System.out.println("開始插入");
long start = System.currentTimeMillis();
CountDownLatch countDownLatch = new CountDownLatch(6);
for(int i=0;i<6;i++){
List<Student> students = new ArrayList<>(count);
int tempCount = 0;
for(int n=0;n<count;n++){
if(tempCount==2999){
studentDao.batchInsertStudent(students);
tempCount=0;
students.clear();
}
Student student = new Student();
student.setS_name("zjd"+i);
student.setS_birth("20230206");
student.setS_name("zjd");
student.setS_sex("男");
students.add(student);
tempCount++;
}
studentDao.batchInsertStudent(students);
long end = System.currentTimeMillis();
System.out.println("耗時："+(end-start));
countDownLatch.countDown();
}
countDownLatch.await();
return 1;
}這樣速度也會比單條循環(huán)插入要快很多。
到此這篇關(guān)于java數(shù)據(jù)庫批量插入數(shù)據(jù)的實現(xiàn)的文章就介紹到這了,更多相關(guān)java 批量插入內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
java（jdk）環(huán)境變量配置（XP、win7、win8）圖文教程詳解
對于初學java的同學來說，第一件事不是寫hello world，而是搭建好java開發(fā)環(huán)境，下載jdk，安裝，配置環(huán)境變量。這些操作在xp、win7、win8不同的操作系統(tǒng)里面配置不太一樣，下面通過本文給大家介紹如何在上面不同操作系統(tǒng)下配置2017-03-03
Spring Cloud Gateway Hystrix fallback獲取異常信息的處理
這篇文章主要介紹了Spring Cloud Gateway Hystrix fallback獲取異常信息的處理方式，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-07-07
mybatisPlus中apply的使用以進行聯(lián)表等復雜sql語句詳解
在MyBatis-Plus中,`apply()`方法可以用于添加任意的SQL片段,包括聯(lián)表查詢,使用`apply()`方法的好處是可以直接添加原生的SQL片段,而不受MyBatis-Plus提供的常規(guī)查詢條件構(gòu)建方法的限制,但是,使用`apply()`方法需要注意安全性和性能問題2025-03-03
這篇文章主要介紹了java 設(shè)計模式之適配器模式的詳解的相關(guān)資料,需要的朋友可以參考下2017-07-07
SpringBoot WebSocket連接報no mapping for GE
