快捷導(dǎo)航

mysql大批量插入數(shù)據(jù)的正確解決方法

更新時(shí)間：2023年09月18日 09:35:18 作者：趙廣陸

這篇文章主要介紹了mysql大批量插入數(shù)據(jù)的正確做法,本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下

1 批量插入和單條插入比較

如何快速的向數(shù)據(jù)庫(kù)中插入已知的1000萬條數(shù)據(jù)

? 假設(shè)這1000W條數(shù)據(jù)在同一個(gè)集合里，那么將這個(gè)集合進(jìn)行遍歷，循環(huán)1000W次，結(jié)合數(shù)據(jù)庫(kù)編程技術(shù)，如JDBC，就可以插入數(shù)據(jù)庫(kù)，這么簡(jiǎn)單的操作，顯然不是正確答案…

List<User> list = findAllUser();
Statement stat = conn.createStatement();
for (User u : list) {
	String sql = "INSERT INTO t_user (uname,age,email) VALUE ('"
                  +u.getUsername()+"',"+u.getAge()+",'"+u.getEmail()+"')";
	stat.addBatch(sql);
}
stat.executeBatch();
INSERT INTO t_user
      (uname,upwd,age,email)
VALUE 
      ('root1','123456',15,'root111@qq.com'),
      ('root2','123456',18,'root222@qq.com')，
      ('root3','123456',26,'root333@qq.com')，
      ....

? 當(dāng)兩種方法配合使用，可以使用每條SQL語(yǔ)句插入100條數(shù)據(jù)，批處理每次發(fā)送1000條這樣的數(shù)據(jù)，共循環(huán)100次即可。? 理論上來說，批處理操作不建議一次性超過【5000】，每條SQL語(yǔ)句根據(jù)具體需求調(diào)整，不建議超過【100】，可以調(diào)整循環(huán)次數(shù)來改善效率。

下面為測(cè)試代碼：

1.1 測(cè)試普通插入

@Test
public void testInsert() {
	UserDAO dao = new UserDAO();
	long t1 = System.currentTimeMillis();
	for(int i=0;i<10000000;i++) {
	    dao.insert(
                "INSERT INTO t_user (uname,pwd,age,email) VALUES ('root','123',15,'root@qq.com')");
	}
	long t2 = System.currentTimeMillis();
	int time = (int) ((t2-t1)/1000);
	System.out.println("共耗時(shí)：" + time +"秒")
}

測(cè)試結(jié)果：在嘗試了幾次，都被各種意外打斷之后，我決定沒有必要把數(shù)據(jù)全部插完，因?yàn)閷?shí)在是太多了，不多說，上圖吧

在這里插入圖片描述

1.2 測(cè)試批處理配合拼接SQL語(yǔ)句插入

@Test
public void testBatch() throws SQLException {
	Connection conn = DBUtils.getConn();
	Statement stat = conn.createStatement();
long t1 = System.currentTimeMillis();
	for(int k=0;k<100;k++) {
	for (int i=0;i<1000;i++) {
			StringBuilder sql =new StringBuilder();
			sql.append("INSERT INTO t_user (uname,pwd,age,email) VALUES ");
			for (int j = 0; j < 100; j++) {				sql.append("('root','123',15,'root@qq.com'),");
			}
			stat.addBatch(sql.toString().substring(0,sql.lastIndexOf(",")))
		}
		stat.executeBatch();
	}
	long t2 = System.currentTimeMillis();
	int time = (int) ((t2-t1)/1000);
	System.out.println("共耗時(shí)：" + time +"秒");
}

測(cè)試結(jié)果：

結(jié)果顯而易見了：第二種方案的執(zhí)行效率遠(yuǎn)高于普通插入方法，不過，具體運(yùn)行時(shí)間和電腦配置應(yīng)該也有關(guān)系的，所以不用糾結(jié)時(shí)間長(zhǎng)短，還是會(huì)用高效的方法就好了。

2 原理探究

應(yīng)用服務(wù)器（程序運(yùn)行所在服務(wù)器）與MySQL數(shù)據(jù)庫(kù)服務(wù)器并不是同一臺(tái)，當(dāng)需要執(zhí)行數(shù)據(jù)庫(kù)操作時(shí)，會(huì)由應(yīng)用服務(wù)器將SQL語(yǔ)句發(fā)送到MySQL數(shù)據(jù)庫(kù)服務(wù)器，發(fā)送過程中就需要建立網(wǎng)絡(luò)連接，才可以發(fā)送SQL語(yǔ)句，則總共需要連接1000W次，效率極低。

同時(shí)，每次執(zhí)行SQL語(yǔ)句之前，MySQL服務(wù)器還會(huì)對(duì)SQL語(yǔ)句進(jìn)行語(yǔ)法分析，語(yǔ)義分析，編譯檢查等才可以執(zhí)行，假設(shè)最終有1000W條SQL語(yǔ)句，則這些過程需要耗費(fèi)大量時(shí)間。針對(duì)這個(gè)缺陷，

可以使用【批處理】解決，減少連接數(shù)據(jù)庫(kù)的次數(shù)，同時(shí)將單條插入語(yǔ)句改為一次插入多條數(shù)據(jù)以提高效率。

到此這篇關(guān)于mysql大批量插入數(shù)據(jù)的正確做法的文章就介紹到這了,更多相關(guān)mysql大批量插入數(shù)據(jù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: