mysql高效導(dǎo)數(shù)據(jù)的方法講解
更新時間：2013年09月28日 21:06:00 作者：
模擬現(xiàn)網(wǎng)測試，需要搭建測試環(huán)境，導(dǎo)入上億級的數(shù)據(jù)到數(shù)據(jù)庫。對于到的問題做些簡單記錄，有需要的朋友可以參考一下
數(shù)據(jù)：一個db，2000個表格，2000張表格數(shù)據(jù)，每條記錄30個column，平均每張表格4.3w條記錄，總共86388670條記錄。
機器：linux 64bit 8G內(nèi)存 4核IntelX3320@2.5GHz
基本思路：
mysql -utest -pxxxx -s -e "source xxxx.sql"
將load語句放在xxxx.sql中
load語法：
load data [low_priority] [local] infile 'file_name.txt' [replace | ignore]
如果串行導(dǎo)入數(shù)據(jù)，會很慢，考慮并行，但可能有沖突，解決辦法：
load之前清空表
truncate table xxxx 或 delete from table xxxx;
或使用replace或ignore關(guān)鍵字。
機器：linux 64bit 8G內(nèi)存 4核IntelX3320@2.5GHz
基本思路：
復(fù)制代碼 代碼如下:
mysql -utest -pxxxx -s -e "source xxxx.sql"
將load語句放在xxxx.sql中
load語法：
復(fù)制代碼 代碼如下:
load data [low_priority] [local] infile 'file_name.txt' [replace | ignore]
如果串行導(dǎo)入數(shù)據(jù)，會很慢，考慮并行，但可能有沖突，解決辦法：
load之前清空表
復(fù)制代碼 代碼如下:
truncate table xxxx 或 delete from table xxxx;
或使用replace或ignore關(guān)鍵字。
相關(guān)文章
對于小的偏移量，直接使用limit來查詢沒有什么問題，但隨著數(shù)據(jù)量的增大，越往后分頁，limit語句的偏移量就會越大，速度也會明顯變慢，接下來文章就向大家介紹其的原由，感興趣的小伙伴可參考下面文章具體內(nèi)容2021-09-09
MySQL Event Scheduler(事件調(diào)度器)
事件調(diào)度器是在 MySQL 5.1 中新增的另一個特色功能，可以作為定時任務(wù)調(diào)度器，取代部分原先只能用操作系統(tǒng)任務(wù)調(diào)度器才能完成的定時功能。2010-06-06
MySQL從命令行導(dǎo)入SQL腳本時出現(xiàn)中文亂碼的解決方法
這篇文章主要介紹了MySQL從命令行導(dǎo)入SQL腳本時出現(xiàn)中文亂碼的解決方法,分析了中文亂碼出現(xiàn)的原因并給出了兩種解決方法供大家參考,需要的朋友可以參考下2016-09-09
mysql是我們經(jīng)常會用到的一個數(shù)據(jù)庫,mysql數(shù)據(jù)庫中有一個主鍵生成規(guī)則,就是自增,這篇文章主要給大家介紹了關(guān)于pt-archiver和自增主鍵的相關(guān)資料,文中通過實例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-04-04
基于一致性hash算法(consistent hashing)的使用詳解
本篇文章對一致性hash算法(consistent hashing)的使用進行了詳細(xì)的分析介紹。需要的朋友參考下2013-05-05
這篇文章主要介紹了mysql返回Boolean類型的幾種情況，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-06-06
MySQL跨服務(wù)器關(guān)聯(lián)查詢的實現(xiàn)
本文主要介紹了MySQL跨服務(wù)器關(guān)聯(lián)查詢的實現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-01-01
這篇文章先是通過一個實例給大家講述在MySQL隱式類型的轉(zhuǎn)換時遇到的陷阱，而后給大家介紹了MySQL隱式類型的規(guī)則，對大家操作mysql隱式類型的時候具有一定的參考借鑒價值，下面來一起看看吧。2016-09-09
解決The‘InnoDB’feature is disabled; you need MySQL built with ‘InnoDB’ to have it2011-09-09
今天小編就為大家分享一篇在MySQL中自定義參數(shù)的使用詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-11-11