欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

MySQL數(shù)據(jù)庫遷移快速導出導入大量數(shù)據(jù)

 更新時間:2019年03月15日 11:43:48   作者:CODETC  
今天小編就為大家分享一篇關于MySQL數(shù)據(jù)庫遷移快速導出導入大量數(shù)據(jù),小編覺得內容挺不錯的,現(xiàn)在分享給大家,具有很好的參考價值,需要的朋友一起跟隨小編來看看吧

數(shù)據(jù)庫遷移是我們經??捎龅降膯栴},對于少量的數(shù)據(jù),遷移基本上不會有什么問題。生產環(huán)境中,有以下情況需要做遷移工作:

  • 磁盤空間不夠。比如一些老項目,選用的機型并不一定適用于數(shù)據(jù)庫。隨著時間的推移,硬盤很有可能出現(xiàn)短缺;
  • 業(yè)務出現(xiàn)瓶頸。比如項目中采用單機承擔所有的讀寫業(yè)務,業(yè)務壓力增大,不堪重負。如果 IO 壓力在可接受的范圍,會采用讀寫分離方案;
  • 機器出現(xiàn)瓶頸。機器出現(xiàn)瓶頸主要在磁盤 IO 能力、內存、CPU,此時除了針對瓶頸做一些優(yōu)化以外,選擇遷移是不錯的方案;
  • 項目改造。某些項目的數(shù)據(jù)庫存在跨機房的情況,可能會在不同機房中增加節(jié)點,或者把機器從一個機房遷移到另一個機房。再比如,不同業(yè)務共用同一臺服務器,為了緩解服務器壓力以及方便維護,也會做遷移。

MySQL遷移通常使用的有三種方法:

1、數(shù)據(jù)庫直接導出,拷貝文件到新服務器,在新服務器上導入。

2、使用第三方遷移工具。

3、數(shù)據(jù)文件和庫表結構文件直接拷貝到新服務器,掛載到同樣配置的MySQL服務下。

第一種方案的優(yōu)點:會重建數(shù)據(jù)文件,減少數(shù)據(jù)文件的占用空間,兼容性最好,導出導入很少發(fā)生問題,需求靈活。缺點:使用傳統(tǒng)導出導入時間占用長。

第二種方案的優(yōu)點:設置完成后傳輸無人值守,自動完成。缺點:不夠靈活,設置繁瑣,傳輸時間長,異常后很難從異常的位置繼續(xù)傳輸。

第三種方案的優(yōu)點:時間占用短,文件可斷點傳輸,操作步驟少。缺點:新舊服務器中MySQL版本及配置必須相同,可能引起未知問題。

假如數(shù)據(jù)庫遷移是因為業(yè)務瓶頸或項目改造等需要變動數(shù)據(jù)表結構的(比如分區(qū)分表),我們便只能使用第一種方法了。

使用MySQL的SELECT INTO OUTFILE 、LOAD DATA INFILE快速導出導入數(shù)據(jù)

LOAD DATA INFILE語句從一個文本文件中以很高的速度讀入一個表中。MySQL官方文檔也說明了,該方法比一次性插入一條數(shù)據(jù)性能快20倍。

當用戶一前一后地使用SELECT ... INTO OUTFILE LOAD DATA INFILE 將數(shù)據(jù)從一個數(shù)據(jù)庫寫到一個文件中,然后再從文件中將它讀入數(shù)據(jù)庫中時,兩個命令的字段和行處理選項必須匹配。否則,LOAD DATA INFILE 將不能正確地解釋文件內容。

下面是一個項目的例子,MySQL由windows平臺遷移到Linux平臺,數(shù)據(jù)總量12G

Windows平臺導出數(shù)據(jù):

tables.txt是保存數(shù)據(jù)表名稱的文件,通過從文件中讀取數(shù)據(jù)表名稱,循環(huán)導出所有表:如果過程中攝及到分表,可根據(jù)分表規(guī)則修改導出的sql語句和批處理代碼,非常靈活。

@echo off & setlocal enabledelayedexpansion
for /f %%i in (tables.txt) do ( set table=%%i
 echo "dump table -- !table! --"
 mysql -uroot -p12345678 codetc_old -e "SELECT * INTO OUTFILE 'F:/MySQL/Uploads/!table!.txt' FIELDS TERMINATED BY ',' FROM !table!"
)
pause

Linux平臺導入數(shù)據(jù):

#!/bin/bash
while read line
do
    mysql -uroot -p12345678 codetc_new -e "LOAD DATA INFILE '/var/lib/mysql-files/$line.txt' INTO TABLE $line FIELDS TERMINATED BY ','"
done < tables.txt

數(shù)據(jù)導入之前需在新機器上創(chuàng)建表結構,12G的數(shù)據(jù)導出用時3分鐘左右,導入用時4分鐘左右(執(zhí)行時間根據(jù)機器的配置會有所不同,不具有參考價值)

總結

以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作具有一定的參考學習價值,謝謝大家對腳本之家的支持。如果你想了解更多相關內容請查看下面相關鏈接

相關文章

  • windows?64位下mysql8.0.25安裝配置教程(最詳細!)

    windows?64位下mysql8.0.25安裝配置教程(最詳細!)

    之前一直在用 5.7 版本,竟然一下子跳到 8.0了,下面這篇文章主要給大家介紹了關于在windows?64位下mysql8.0.25安裝配置教程,文章通過圖文介紹的非常詳細,需要的朋友可以參考下
    2022-03-03
  • mysql派生表(Derived Table)簡單用法實例解析

    mysql派生表(Derived Table)簡單用法實例解析

    這篇文章主要介紹了mysql派生表(Derived Table)簡單用法,結合實例形式分析了mysql派生表的原理、簡單使用方法及操作注意事項,需要的朋友可以參考下
    2019-12-12
  • SQL?Group?By分組后如何選取每組最新的一條數(shù)據(jù)

    SQL?Group?By分組后如何選取每組最新的一條數(shù)據(jù)

    經常在分組查詢之后,需要的是分組的某行數(shù)據(jù),例如更新時間最新的一條數(shù)據(jù),下面這篇文章主要給大家介紹了關于SQL?Group?By分組后如何選取每組最新的一條數(shù)據(jù)的相關資料,需要的朋友可以參考下
    2022-10-10
  • navicat連接mysql出現(xiàn)2059錯誤的解決方法

    navicat連接mysql出現(xiàn)2059錯誤的解決方法

    這篇文章主要為大家詳細介紹了navicat連接mysql出現(xiàn)2059錯誤的解決方法,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2018-11-11
  • MySQL函數(shù)與存儲過程字符串長度限制的解決

    MySQL函數(shù)與存儲過程字符串長度限制的解決

    本文主要介紹了MySQL函數(shù)與存儲過程字符串長度限制的解決,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2022-08-08
  • 如何把ACCESS的數(shù)據(jù)導入到Mysql中

    如何把ACCESS的數(shù)據(jù)導入到Mysql中

    如何把ACCESS的數(shù)據(jù)導入到Mysql中...
    2006-12-12
  • MySQL中CONCAT和GROUP_CONCAT方法的區(qū)別詳解

    MySQL中CONCAT和GROUP_CONCAT方法的區(qū)別詳解

    本文主要介紹了MySQL中CONCAT和GROUP_CONCAT方法的區(qū)別詳解,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2023-01-01
  • mysql5.6 主從復制同步詳細配置(圖文)

    mysql5.6 主從復制同步詳細配置(圖文)

    這篇文章主要介紹了mysql5.6 主從復制同步詳細配置,但不是很詳細推薦大家看下腳本之家以前的文章,需要的朋友可以參考下
    2016-04-04
  • MySQL數(shù)據(jù)庫安全配置介紹

    MySQL數(shù)據(jù)庫安全配置介紹

    MySQL數(shù)據(jù)庫所在的主機的安全性是最首要的問題,如果主機不安全,被攻擊者控制,那么MySQL的安全性也無從談起。其次就是數(shù)據(jù)目錄和數(shù)據(jù)文件的安全性,也就是權限設置問題。因此MySQL數(shù)據(jù)庫安全配置是至關重要的。
    2011-03-03
  • Ubuntu配置Mysql主從數(shù)據(jù)庫

    Ubuntu配置Mysql主從數(shù)據(jù)庫

    MySQL數(shù)據(jù)庫支持數(shù)據(jù)庫的主從復制功能,因此在集群方面具有其獨特的優(yōu)勢。眾多國內外大型網站架構體系中,均采用了MySQL的主從數(shù)據(jù)庫配置來實現(xiàn)查詢負載、數(shù)據(jù)庫熱備等功能。本人在實際的Web項目中也涉及到這一需求,在此將如何配置實現(xiàn)做個簡單小結。
    2014-07-07

最新評論