MySQL高效導(dǎo)入多個(gè).sql文件方法詳解

更新時(shí)間：2018年10月11日 15:16:06 投稿：wdc

MySQL有多種方法導(dǎo)入多個(gè).sql文件,常用的有兩個(gè)命令：mysql和source,如何提高導(dǎo)入速度,在導(dǎo)入大的sql文件時(shí)，建議使用mysql命令

MySQL有多種方法導(dǎo)入多個(gè).sql文件（里面是sql語(yǔ)句），常用的有兩個(gè)命令：mysql和source。

但是這兩個(gè)命令的導(dǎo)入效率差別很大，具體請(qǐng)看最后的比較。

（還有sqlimport和LOAD DATA INFILE等導(dǎo)入方法，不過(guò)它們主要用于導(dǎo)入.csv或.xml文件數(shù)據(jù)，不是.sql文件）

假設(shè)我們有一個(gè) users.sql 大文件，為方便我們將其拆分成：user1.sql、user2.sql、user3.sql 三個(gè)獨(dú)立的小sql文件。

1、mysql命令導(dǎo)入

mysql命令導(dǎo)入多個(gè)sql文件方法：

$ for SQL in *.sql; do mysql -uroot -p"123456" mydb < $SQL; done

2、source命令導(dǎo)入

source命令需要首先進(jìn)入MySQL命令行：

$ mysql -uroot -p"123456"

導(dǎo)入多個(gè)sql文件需要先創(chuàng)建一個(gè)額外的文件，名字隨意，這里我們?nèi)。篴ll.sql，內(nèi)容：

source user1.sql
source user2.sql
source user3.sql

注意，這里每行一條，必須以source命令開(kāi)頭。

然后用source命令執(zhí)行該文件：

mysql > use mydb;
mysql > source /home/gary/all.sql

3、如何提高導(dǎo)入速度？

對(duì)于百M(fèi)級(jí)以上文件，如果光這樣導(dǎo)入，速度是極其緩慢的，

根據(jù)MySQL官方建議，我們有幾個(gè)措施可以極大提高導(dǎo)入的速度，如下：

對(duì)于MyISAM，調(diào)整系統(tǒng)參數(shù)：bulk_insert_buffer_size（至少單個(gè)文件大小的2倍以上）

對(duì)于InnoDB，調(diào)整系統(tǒng)參數(shù)：innodb_log_buffer_size（至少單個(gè)文件大小的2倍以上，導(dǎo)入完成后可以改回默認(rèn)的8M，注意不是innodb_buffer_pool_size。）

除主鍵外，刪除其他索引，導(dǎo)入完成后重建索引。

關(guān)閉自動(dòng)提交：autocommit=0。（請(qǐng)勿用set global autocommit=1;命令來(lái)關(guān)閉，否則整個(gè)MySQL系統(tǒng)都會(huì)停止自動(dòng)commit，innodb log buffer很快就會(huì)爆滿，5和6項(xiàng)也請(qǐng)僅在會(huì)話中有效，正確做法請(qǐng)往下看）

關(guān)閉唯一索引檢查：unique_checks=0。（關(guān)閉了這一項(xiàng)會(huì)影響on duplicate key update的效果）

關(guān)閉外鍵檢查：foreign_key_checks=0。

insert值寫(xiě)在一條語(yǔ)句內(nèi)，如：INSERT INTO yourtable VALUES (1,2), (5,5), ...;

有自增列的，設(shè)置：innodb_autoinc_lock_mode的值為2,

其中，第1-2、8條在修改my.cnf文件，然后重啟MySQL：

bulk_insert_buffer_size=2G;
innodb_log_buffer_size=2G;
innodb_autoinc_lock_mode=2;

第3條用到的命令：

#刪除索引
DROP INDEX index_name ON talbe_name
ALTER TABLE table_name DROP INDEX index_name
ALTER TABLE table_name DROP PRIMARY KEY

?！√砑铀饕?
ALTER TABLE table_name ADD INDEX index_name (column_list)
ALTER TABLE table_name ADD UNIQUE (column_list)
ALTER TABLE table_name ADD PRIMARY KEY (column_list)

第４-6條寫(xiě)在.sql中，批量bash腳本如下：

for SQL in *.sql;
do
  echo $SQL;
  sed -i '1i\SET autocommit=0;\nSET unique_checks=0;\nSET foreign_key_checks=0;' $SQL
  sed -i '$a\COMMIT;\nSET autocommit=1;\nSET unique_checks=1;\nSET foreign_key_checks=1;' $SQL
done

按照以上幾個(gè)步驟調(diào)整后，插入速度必會(huì)有大幅度的提高。

4、mysql和source效率比較

在sql文件較小的情況下，source速度比mysql高，

在實(shí)際測(cè)試導(dǎo)入時(shí)，5個(gè)合計(jì)25M的sql文件，mysql命令的速度比source要快2秒（我自己的測(cè)試，不代表普遍的結(jié)果），

可以粗略得出，在導(dǎo)入大的sql文件時(shí)，建議使用mysql命令。

以上既是MySQL高效導(dǎo)入多個(gè).sql文件的方法，希望能幫助到大家

您可能感興趣的文章: