python多進(jìn)程提取處理大量文本的關(guān)鍵詞方法
經(jīng)常需要通過(guò)python代碼來(lái)提取文本的關(guān)鍵詞,用于文本分析。而實(shí)際應(yīng)用中文本量又是大量的數(shù)據(jù),如果使用單進(jìn)程的話,效率會(huì)比較低,因此可以考慮使用多進(jìn)程。
python的多進(jìn)程只需要使用multiprocessing的模塊就行,如果使用大量的進(jìn)程就可以使用multiprocessing的進(jìn)程池--Pool,然后不同進(jìn)程處理時(shí)使用apply_async函數(shù)進(jìn)行異步處理即可。
實(shí)驗(yàn)測(cè)試語(yǔ)料:message.txt中存放的581行文本,一共7M的數(shù)據(jù),每行提取100個(gè)關(guān)鍵詞。
代碼如下:
#coding:utf-8 import sys reload(sys) sys.setdefaultencoding("utf-8") from multiprocessing import Pool,Queue,Process import multiprocessing as mp import time,random import os import codecs import jieba.analyse jieba.analyse.set_stop_words("yy_stop_words.txt") def extract_keyword(input_string): #print("Do task by process {proc}".format(proc=os.getpid())) tags = jieba.analyse.extract_tags(input_string, topK=100) #print("key words:{kw}".format(kw=" ".join(tags))) return tags #def parallel_extract_keyword(input_string,out_file): def parallel_extract_keyword(input_string): #print("Do task by process {proc}".format(proc=os.getpid())) tags = jieba.analyse.extract_tags(input_string, topK=100) #time.sleep(random.random()) #print("key words:{kw}".format(kw=" ".join(tags))) #o_f = open(out_file,'w') #o_f.write(" ".join(tags)+"\n") return tags if __name__ == "__main__": data_file = sys.argv[1] with codecs.open(data_file) as f: lines = f.readlines() f.close() out_put = data_file.split('.')[0] +"_tags.txt" t0 = time.time() for line in lines: parallel_extract_keyword(line) #parallel_extract_keyword(line,out_put) #extract_keyword(line) print("串行處理花費(fèi)時(shí)間{t}".format(t=time.time()-t0)) pool = Pool(processes=int(mp.cpu_count()*0.7)) t1 = time.time() #for line in lines: #pool.apply_async(parallel_extract_keyword,(line,out_put)) #保存處理的結(jié)果,可以方便輸出到文件 res = pool.map(parallel_extract_keyword,lines) #print("Print keywords:") #for tag in res: #print(" ".join(tag)) pool.close() pool.join() print("并行處理花費(fèi)時(shí)間{t}s".format(t=time.time()-t1))
運(yùn)行:
python data_process_by_multiprocess.py message.txt
message.txt是每行是一個(gè)文檔,共581行,7M的數(shù)據(jù)
運(yùn)行時(shí)間:
不使用sleep來(lái)掛起進(jìn)程,也就是把time.sleep(random.random())注釋掉,運(yùn)行可以大大節(jié)省時(shí)間。
以上這篇python多進(jìn)程提取處理大量文本的關(guān)鍵詞方法就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
在FastAPI中改變響應(yīng)狀態(tài)碼的兩種方法
FastAPI,顧名思義,是一個(gè)快速、現(xiàn)代、高性能的web框架,用于用Python構(gòu)建后端api,響應(yīng)狀態(tài)碼是一個(gè)三位數(shù),表示請(qǐng)求的結(jié)果,在這篇簡(jiǎn)明的基于示例的博文中,我將向你展示在FastAPI中更改響應(yīng)狀態(tài)代碼的兩種不同方法,需要的朋友可以參考下2025-02-02python實(shí)現(xiàn)簡(jiǎn)單http服務(wù)器功能
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)簡(jiǎn)單http服務(wù)器功能,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2018-09-09python實(shí)現(xiàn)馬丁策略的實(shí)例詳解
這篇文章主要介紹了python實(shí)現(xiàn)馬丁策略的實(shí)例詳解,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2021-01-01關(guān)于Python字符編碼與二進(jìn)制不得不說(shuō)的一些事
這篇文章主要給大家介紹了關(guān)于Python字符編碼與二進(jìn)制不得不說(shuō)的一些事,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-10-10python深度學(xué)習(xí)人工智能BackPropagation鏈?zhǔn)椒▌t
這篇文章主要為大家介紹了python深度學(xué)習(xí)人工智能BackPropagation鏈?zhǔn)椒▌t的示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助2021-11-11Python實(shí)現(xiàn)C#代碼生成器應(yīng)用服務(wù)于Unity示例解析
為了滿足項(xiàng)目需要,需要實(shí)現(xiàn)一個(gè)c#代碼生成器,為此設(shè)計(jì)了一個(gè)語(yǔ)法模板適用于Unity的代碼生成器。本次使用了Python的Template模板,使用python開(kāi)發(fā)2021-10-10