使用機(jī)器學(xué)習(xí)訓(xùn)練數(shù)據(jù)時(shí)，如果數(shù)據(jù)量較大可能我們不能夠一次性將數(shù)據(jù)加載進(jìn)內(nèi)存，這時(shí)我們需要將數(shù)據(jù)進(jìn)行預(yù)處理，分批次加載進(jìn)內(nèi)存。

下面是代碼作用是將數(shù)據(jù)從數(shù)據(jù)庫讀取出來分批次寫入txt文本文件，方便我們做數(shù)據(jù)的預(yù)處理和訓(xùn)練機(jī)器學(xué)習(xí)模型。

#%%
import pymssql as MySQLdb #這里是python3 如果你是python2.x的話，import MySQLdb
#數(shù)據(jù)庫連接屬性
hst = '188.10.34.18'
usr = 'sa'
passwd = 'p@ssw0rd'
db = 'HistoryTrace'
 
#總共多少數(shù)據(jù)
allData = 1674333
#每個(gè)批次多少條數(shù)據(jù)
dataOfEach = 20000
#批次
batch = ceil(allData/dataOfEach)
 
#文件名
global IDctrl 
IDctrl = 1
filename = str(IDctrl)+'.txt'
 
#連接數(shù)據(jù)庫
conn = MySQLdb.connect(host=hst,user=usr,password=passwd,database=db)
cur=conn.cursor()
 
while IDctrl<batch:
 #讀取數(shù)據(jù)庫
 sql = 'SELECT Longitude,Latitude,Altitude,VelComOfLong,VelComOfLati,Aircraft,Section,TimeMinus\
    FROM dealed1 where ID>=' + str(IDctrl) + ' and ID <' + str(IDctrl + dataOfEach) 
 cur.execute(sql)
 rows=cur.fetchall()
 #寫文件
 f = open(filename,'w')
 f.writelines(str(rows))
 #文件名加1
 IDctrl+=1
 filename = str(IDctrl)+'.txt'
 
#關(guān)閉數(shù)據(jù)庫連接
f.close()
conn.close()

以上這篇Python從數(shù)據(jù)庫讀取大量數(shù)據(jù)批量寫入文件的方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

python str與repr的區(qū)別
repr() 輸出對(duì) Python比較友好，而str()的輸出對(duì)用戶比較友好。雖然如此，很多情況下這三者的輸出仍然都是完全一樣的
2013-03-03
Python中with上下文管理協(xié)議的作用及用法
這篇文章主要介紹了Python中with的作用及用法，with是從Python2.5引入的一個(gè)新的語法，它是一種上下文管理協(xié)議，下文更多詳細(xì)內(nèi)容介紹需要的小伙伴可以參考一下
2022-03-03
Python利用PsUtil實(shí)現(xiàn)實(shí)時(shí)監(jiān)控系統(tǒng)狀態(tài)
PSUtil是一個(gè)跨平臺(tái)的Python庫，用于檢索有關(guān)正在運(yùn)行的進(jìn)程和系統(tǒng)利用率（CPU，內(nèi)存，磁盤，網(wǎng)絡(luò)，傳感器）的信息。本文就來用PsUtil實(shí)現(xiàn)實(shí)時(shí)監(jiān)控系統(tǒng)狀態(tài)，感興趣的可以跟隨小編一起學(xué)習(xí)一下
2023-04-04
pytorch tensor int型除法出現(xiàn)的問題
這篇文章主要介紹了pytorch tensor int型除法出現(xiàn)的問題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
2021-04-04
利用Python做一個(gè)電腦通知小工具
Windows不是有個(gè)消息通知功能，挺喜歡這個(gè)功能的，但是不太方便使用，也懶得去研究，于是準(zhǔn)備用Python自己寫一個(gè)，感興趣的可以了解一下
2022-12-12
PyCharm MySQL可視化Database配置過程圖解
這篇文章主要介紹了PyCharm MySQL可視化Database配置過程圖解,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2020-06-06
基于打開pycharm有帶圖片md文件卡死問題的解決
這篇文章主要介紹了基于打開pycharm有帶圖片md文件卡死問題的解決，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
2020-04-04
解決python pandas讀取excel中多個(gè)不同sheet表格存在的問題
這篇文章主要介紹了解決python pandas讀取excel中多個(gè)不同sheet表格存在的問題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
2020-07-07
詳解model.train()和model.eval()兩種模式的原理與用法
這篇文章主要介紹了詳解model.train()和model.eval()兩種模式的原理與用法,相信很多沒有經(jīng)驗(yàn)的人對(duì)此束手無策,那么看完這篇文章一定會(huì)對(duì)你有所幫助
2023-03-03
Windows平臺(tái)Python編程必會(huì)模塊之pywin32介紹
在Windows平臺(tái)上，從原來使用C/C++編寫原生EXE程序，到使用Python編寫一些常用腳本程序，成熟的模塊的使用使得編程效率大大提高了
2019-10-10