Python 讀取千萬級數(shù)據(jù)自動寫入 MySQL 數(shù)據(jù)庫
前言
Python 讀取數(shù)據(jù)自動寫入 MySQL 數(shù)據(jù)庫,這個需求在工作中是非常普遍的,主要涉及到 python 操作數(shù)據(jù)庫,讀寫更新等,數(shù)據(jù)庫可能是 mongodb、 es,他們的處理思路都是相似的,只需要將操作數(shù)據(jù)庫的語法更換即可。本篇文章會給大家系統(tǒng)的分享千萬級數(shù)據(jù)如何寫入到 mysql,分為兩個場景,兩種方式。
場景一:數(shù)據(jù)不需要頻繁的寫入mysql
使用 navicat 工具的導(dǎo)入向?qū)Чδ?。支持多種文件格式,可以根據(jù)文件的字段自動建表,也可以在已有表中插入數(shù)據(jù),非??旖莘奖?。
場景二:數(shù)據(jù)是增量的,需要自動化并頻繁寫入mysql
測試數(shù)據(jù):csv 格式 ,大約 1200萬行
import pandas as pd data = pd.read_csv('./tianchi_mobile_recommend_train_user.csv') data.shape
打印結(jié)果:
方式一:python ? pymysql 庫
安裝 pymysql 命令:
pip?install?pymysql
代碼實現(xiàn):
import pymysql # 數(shù)據(jù)庫連接信息 conn = pymysql.connect( host='127.0.0.1', user='root', passwd='wangyuqing', db='test01', port = 3306, charset="utf8") # 分塊處理 big_size = 100000 # 分塊遍歷寫入到 mysql with pd.read_csv('./tianchi_mobile_recommend_train_user.csv',chunksize=big_size) as reader: for df in reader: datas = [] print('處理:',len(df)) # print(df) for i ,j in df.iterrows(): data = (j['user_id'],j['item_id'],j['behavior_type'], j['item_category'],j['time']) datas.append(data) _values = ",".join(['%s', ] * 5) sql = """insert into users(user_id,item_id,behavior_type ,item_category,time) values(%s)""" % _values cursor = conn.cursor() cursor.executemany(sql,datas) conn.commit() # 關(guān)閉服務(wù) conn.close() cursor.close() print('存入成功!')
方式二:pandas ? sqlalchemy:pandas需要引入sqlalchemy來支持sql,在sqlalchemy的支持下,它可以實現(xiàn)所有常見數(shù)據(jù)庫類型的查詢、更新等操作。
代碼實現(xiàn):
from sqlalchemy import create_engine engine = create_engine('mysql+pymysql://root:wangyuqing@localhost:3306/test01') data = pd.read_csv('./tianchi_mobile_recommend_train_user.csv') data.to_sql('user02',engine,chunksize=100000,index=None) print('存入成功!')
總結(jié)
pymysql 方法用時12分47秒,耗時還是比較長的,代碼量大,而 pandas 僅需五行代碼就實現(xiàn)了這個需求,只用了4分鐘左右。最后補充下,方式一需要提前建表,方式二則不需要。所以推薦大家使用第二種方式,既方便又效率高。如果還覺得速度慢的小伙伴,可以考慮加入多進(jìn)程、多線程。
最全的三種將數(shù)據(jù)存入到 MySQL 數(shù)據(jù)庫方法:
- 直接存,利用 navicat 的導(dǎo)入向?qū)Чδ?/li>
- Python pymysql
- Pandas sqlalchemy
到此這篇關(guān)于Python 讀取千萬級數(shù)據(jù)自動寫入 MySQL 數(shù)據(jù)庫的文章就介紹到這了,更多相關(guān)Python 讀取數(shù)據(jù)內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
代碼詳解django中數(shù)據(jù)庫設(shè)置
在本篇文章里小編給大家分享了關(guān)于django中數(shù)據(jù)庫設(shè)置的相關(guān)實例內(nèi)容,有興趣的朋友們跟著學(xué)習(xí)下。2019-01-01在python中寫個自定義數(shù)據(jù)包協(xié)議的打包和解包測試
這篇文章主要介紹了在python中寫個自定義數(shù)據(jù)包協(xié)議的打包和解包測試,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-09-09