將sqlite3中數(shù)據(jù)導入到mysql中的實戰(zhàn)教程
前言
sqlite3只小巧輕便,但是并不支持并發(fā)訪問,當網(wǎng)站并發(fā)量較大時候,數(shù)據(jù)庫請求隊列邊長,有可能導致隊列末尾去數(shù)據(jù)庫操作超時,從而操作失敗。因此需要切換到支持并發(fā)訪問的數(shù)據(jù)庫。切換數(shù)據(jù)庫需要將老的數(shù)據(jù)導出,再導入到新的數(shù)據(jù)庫中,但是sqlite3和mysql的數(shù)據(jù)庫并不完全兼容,需要做部分調(diào)整才能正常導入到mysql中。我最近工作中就遇到了這個問題。
最近一個項目中使用magenetico抓取磁力鏈接,由于它使用的是sqlite3, 文件會越來越大,而且不支持分布式;所以需要將其改造成MySQL,在遷移之前需要將已經(jīng)抓取的15G數(shù)據(jù)導入到MySQL,下面來一起看看詳細的介紹吧
方法如下:
從sqlite3文件dump出sql
sqlite3 database.sqlite3 sqlite3> .output /path/to/dump.sql sqlite3> .dump sqlite3> .exit
切分文件
文件比較大的時候,很有導入到一半的時候失敗,這個時候需要從失敗的行開始切分出一個新的sql文件來
awk '{if (NR>=6240863) print $0>"dump_part.sql"}' dump.sql
mysql參數(shù)修改
[mysqld] max_allowed_packet = 100M
sql兼容, 符號替換
# 1. 刪除不包含 INSERT INTO 的行 # 2. 替換表名 wrap # 3. 替換 hex sed '/INSERT INTO/!d;s/"table1"/`table1`/;s/"table2"/`table2`/;s/,X/,/' dump.sql
導入到MySQL
# 加上 force 參數(shù), 防止部分有問題的sql阻止導入 mysql -uroot -p -f magnet < dump.sql
引用
How To Use The SQLite Dump Command
總結
以上就是這篇文章的全部內(nèi)容了,希望本文的內(nèi)容對大家的學習或者工作能帶來一定的幫助,如果有疑問大家可以留言交流,謝謝大家對腳本之家的支持。
- php基于Fleaphp框架實現(xiàn)cvs數(shù)據(jù)導入MySQL的方法
- MySQL中數(shù)據(jù)導入恢復的簡單教程
- PHP把MSSQL數(shù)據(jù)導入到MYSQL的方法
- MySQL中使用load data命令實現(xiàn)數(shù)據(jù)導入的方法
- 解析csv數(shù)據(jù)導入mysql的方法
- phpMyAdmin下將Excel中的數(shù)據(jù)導入MySql的圖文方法
- 3步搞定純真IP數(shù)據(jù)導入到MySQL的方法詳解
- Excel數(shù)據(jù)導入Mysql數(shù)據(jù)庫的實現(xiàn)代碼
- 如何把ACCESS的數(shù)據(jù)導入到Mysql中
- MYSQL大數(shù)據(jù)導入
- 分析Mysql大量數(shù)據(jù)導入遇到的問題以及解決方案
相關文章
Linux下實現(xiàn)OpenGauss數(shù)據(jù)庫遠程連接的教程
openGauss是一款開源關系型數(shù)據(jù)庫管理系統(tǒng),采用木蘭寬松許可證v2發(fā)行,本文主要為大家詳細介紹了如何在Linux環(huán)境下實現(xiàn)OpenGauss數(shù)據(jù)庫遠程連接,需要的可以參考下2023-09-09在SQL SERVER中查詢數(shù)據(jù)庫中第幾條至第幾條之間的數(shù)據(jù)SQL語句寫法
這篇文章主要介紹了在SQL SERVER中查詢數(shù)據(jù)庫中第幾條至第幾條之間的數(shù)據(jù)SQL語句寫法,需要的朋友可以參考下2015-11-11關于若干數(shù)據(jù)庫數(shù)據(jù)插入性能的對比分析
前幾天,苦惱于到底使用哪一種本地數(shù)據(jù)庫來存儲部分數(shù)據(jù),于是決定做一個數(shù)據(jù)插入測試進行求證2011-10-10大數(shù)據(jù)開發(fā)phoenix連接hbase流程詳解
HBase是一個分布式的、面向列的開源數(shù)據(jù)庫,該技術來源于?Fay?Chang?所撰寫的Google論文“Bigtable:一個結構化數(shù)據(jù)的分布式存儲系統(tǒng)”。就像Bigtable利用了Google文件系統(tǒng)(File?System)所提供的分布式數(shù)據(jù)存儲一樣,HBase在Hadoop之上提供了類似于Bigtable的能力2022-11-11