欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

用Python讀取幾十萬行文本數(shù)據(jù)

 更新時間：2018年12月24日 11:21:15   作者：accumulate_zhang  
今天小編就為大家分享一篇關(guān)于用Python讀取幾十萬行文本數(shù)據(jù)，小編覺得內(nèi)容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧

我在使用python讀取幾十萬行的文件中的數(shù)據(jù)，并構(gòu)造字典，列表等數(shù)據(jù)結(jié)構(gòu)時，再訪問字典，列表時，一般都會出現(xiàn)內(nèi)存不夠的問題，然后只能循環(huán)讀取幾百行或者一定數(shù)量的行數(shù)來循環(huán)操作。

keyword_list=[line.strip() for line in open("keywords.txt",'r')]
#f1=open("part_wiki_vec.txt",'r')
f1=open("wiki_vectors.txt")
f2=open("result.txt",'w')
i=0
content=f1.readlines()
while i<1150:
 for line in content[300*i:300*(i+1)]:
  line=line.strip().split(' ')
  if line[0] in keyword_list:
   wordvec=' '.join(line)
   print wordvec
   f2.write(wordvec)
  #print line
 i+=1

我是這樣讀取的

應(yīng)該還有很多好的方法，比如多線程等等。

做此記錄只為了學習

總結(jié)

以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學習或者工作具有一定的參考學習價值，謝謝大家對腳本之家的支持。如果你想了解更多相關(guān)內(nèi)容請查看下面相關(guān)鏈接

相關(guān)文章

最新評論