python多進(jìn)程提取處理大量文本的關(guān)鍵詞方法
更新時間：2018年06月05日 15:39:44 作者：懷夢遠(yuǎn)航
今天小編就為大家分享一篇python多進(jìn)程提取處理大量文本的關(guān)鍵詞方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
經(jīng)常需要通過python代碼來提取文本的關(guān)鍵詞，用于文本分析。而實際應(yīng)用中文本量又是大量的數(shù)據(jù)，如果使用單進(jìn)程的話，效率會比較低，因此可以考慮使用多進(jìn)程。
python的多進(jìn)程只需要使用multiprocessing的模塊就行，如果使用大量的進(jìn)程就可以使用multiprocessing的進(jìn)程池--Pool，然后不同進(jìn)程處理時使用apply_async函數(shù)進(jìn)行異步處理即可。
實驗測試語料：message.txt中存放的581行文本，一共7M的數(shù)據(jù)，每行提取100個關(guān)鍵詞。
代碼如下：
#coding:utf-8
import sys
reload(sys)
sys.setdefaultencoding("utf-8")
from multiprocessing import Pool,Queue,Process
import multiprocessing as mp
import time,random
import os
import codecs
import jieba.analyse
jieba.analyse.set_stop_words("yy_stop_words.txt")
def extract_keyword(input_string):
#print("Do task by process {proc}".format(proc=os.getpid()))
tags = jieba.analyse.extract_tags(input_string, topK=100)
#print("key words:{kw}".format(kw=" ".join(tags)))
return tags
#def parallel_extract_keyword(input_string,out_file):
def parallel_extract_keyword(input_string):
#print("Do task by process {proc}".format(proc=os.getpid()))
tags = jieba.analyse.extract_tags(input_string, topK=100)
#time.sleep(random.random())
#print("key words:{kw}".format(kw=" ".join(tags)))
#o_f = open(out_file,'w')
#o_f.write(" ".join(tags)+"\n")
return tags
if __name__ == "__main__":
data_file = sys.argv[1]
with codecs.open(data_file) as f:
lines = f.readlines()
f.close()
out_put = data_file.split('.')[0] +"_tags.txt"
t0 = time.time()
for line in lines:
parallel_extract_keyword(line)
#parallel_extract_keyword(line,out_put)
#extract_keyword(line)
print("串行處理花費時間{t}".format(t=time.time()-t0))
pool = Pool(processes=int(mp.cpu_count()*0.7))
t1 = time.time()
#for line in lines:
#pool.apply_async(parallel_extract_keyword,(line,out_put))
#保存處理的結(jié)果，可以方便輸出到文件
res = pool.map(parallel_extract_keyword,lines)
#print("Print keywords:")
#for tag in res:
#print(" ".join(tag))
pool.close()
pool.join()
print("并行處理花費時間{t}s".format(t=time.time()-t1))
運行：
python data_process_by_multiprocess.py message.txt
message.txt是每行是一個文檔，共581行，7M的數(shù)據(jù)
運行時間：
不使用sleep來掛起進(jìn)程,也就是把time.sleep(random.random())注釋掉，運行可以大大節(jié)省時間。
以上這篇python多進(jìn)程提取處理大量文本的關(guān)鍵詞方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
Selenium是一個用于自動化瀏覽器操作的Python庫,常用于Web應(yīng)用的測試和爬蟲等場景,本文給大家介紹Python中Selenium的基本使用教程,感興趣的朋友一起看看吧2023-11-11
在FastAPI中改變響應(yīng)狀態(tài)碼的兩種方法
FastAPI,顧名思義,是一個快速、現(xiàn)代、高性能的web框架,用于用Python構(gòu)建后端api,響應(yīng)狀態(tài)碼是一個三位數(shù),表示請求的結(jié)果,在這篇簡明的基于示例的博文中,我將向你展示在FastAPI中更改響應(yīng)狀態(tài)代碼的兩種不同方法,需要的朋友可以參考下2025-02-02
這篇文章主要為大家詳細(xì)介紹了python實現(xiàn)簡單http服務(wù)器功能，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-09-09
本篇文章主要介紹了Python3 內(nèi)置函數(shù)，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-11-11
map與reduce是兩個十分常用的Python內(nèi)置函數(shù)，它們與Hadoop中的MapReduce在某些方面有一定的相似之處。2018-02-02
這篇文章主要介紹了python實現(xiàn)馬丁策略的實例詳解,本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-01-01
關(guān)于Python字符編碼與二進(jìn)制不得不說的一些事
這篇文章主要給大家介紹了關(guān)于Python字符編碼與二進(jìn)制不得不說的一些事，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-10-10
python深度學(xué)習(xí)人工智能BackPropagation鏈?zhǔn)椒▌t
這篇文章主要為大家介紹了python深度學(xué)習(xí)人工智能BackPropagation鏈?zhǔn)椒▌t的示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助2021-11-11
這篇文章主要介紹了Python數(shù)據(jù)可視化庫Bokeh的使用總結(jié)，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2021-11-11
Python實現(xiàn)C#代碼生成器應(yīng)用服務(wù)于Unity示例解析
為了滿足項目需要，需要實現(xiàn)一個c#代碼生成器，為此設(shè)計了一個語法模板適用于Unity的代碼生成器。本次使用了Python的Template模板，使用python開發(fā)2021-10-10