Python解決爬蟲(chóng)程序卡死問(wèn)題
前言:
之前的文章我們已經(jīng)開(kāi)啟了爬蟲(chóng)程序的exe之旅,但是我們最終實(shí)現(xiàn)的程序存在一個(gè)非常大的問(wèn)題,當(dāng)進(jìn)行網(wǎng)絡(luò)請(qǐng)求的時(shí)候,程序卡死,直到數(shù)據(jù)請(qǐng)求回來(lái)之后,程序才會(huì)從假死狀態(tài)解脫出來(lái),今天這篇博客核心將這個(gè)問(wèn)題解決掉。
導(dǎo)致該問(wèn)題產(chǎn)生的原因是GUI程序在執(zhí)行高IO操作的時(shí)候很容易出現(xiàn)假死和無(wú)響應(yīng)的狀態(tài),通用解決辦法就是多線(xiàn)程。
如果想擴(kuò)展開(kāi)本知識(shí)點(diǎn)的學(xué)習(xí),可以在搜索引擎搜索 tkinter假死,未響應(yīng)等關(guān)鍵字即可
簡(jiǎn)單粗暴解決問(wèn)題
找到上節(jié)課需要修改的代碼部分 :
修改成如下代碼,立馬解決問(wèn)題:
def thread_down(func, *args): # 創(chuàng)建線(xiàn)程 t = threading.Thread(target=func, args=args) t.setDaemon(True) # 啟動(dòng) t.start() # 創(chuàng)建按鈕 btn = tk.Button(win,text = '分析下載', command = lambda :thread_down(down_img))
當(dāng)然記得在頭部導(dǎo)入線(xiàn)程模塊:
import threading
對(duì)于咱們常寫(xiě)爬蟲(chóng)的Coder來(lái)說(shuō),多線(xiàn)程就不用過(guò)多的解釋了,非常容易理解,注意下t.setDaemon(True)
通過(guò) t.setDaemon(True) 將子線(xiàn)程設(shè)置為守護(hù)進(jìn)程(默認(rèn)False),主線(xiàn)程結(jié)束后,守護(hù)子線(xiàn)程隨之中止。
以上是最簡(jiǎn)單的解決辦法了,順著這個(gè)思路慢慢的修改你的程序即可
增加一點(diǎn)點(diǎn)難度的解決方案
該方案假設(shè)你的爬蟲(chóng)比較復(fù)雜一些,用的是類(lèi)去編寫(xiě)的,那么增加一個(gè)類(lèi)文件即可,該類(lèi)繼承 threading.Thread 類(lèi)
class MyThread(threading.Thread): def __init__(self, func, *args): super().__init__() self.func = func self.args = args self.setDaemon(True) self.start() # 構(gòu)造方法中啟動(dòng)線(xiàn)程 def run(self): self.func(*self.args) # 創(chuàng)建按鈕 btn = tk.Button(win,text = '分析下載', command = lambda :MyThread(down_img))
上述解決辦法也比較簡(jiǎn)單,重點(diǎn)依舊是將I/O耗時(shí)操作放置到一個(gè)新的線(xiàn)程中去
我們重點(diǎn)注意在上述的代碼中tk.Button(win,text = '分析下載', command = lambda :MyThread(down_img))
中我們給command綁定值的時(shí)候用到的lambda函數(shù)
lambda這個(gè)大家都知道是匿名函數(shù),在這里的用法注意是tk要求的。
他表示 傳參數(shù)Button綁定事件,文檔中大概意思如下:
我們使用Button傳遞數(shù)值時(shí),需要用:
lambda: 功能函數(shù)(var1, var2, ……)
所以大家在使用的時(shí)候,注意該問(wèn)題哦~~
我們繼續(xù)給爬蟲(chóng)程序加點(diǎn)料
上面已經(jīng)解決了一個(gè)小問(wèn)題,這些當(dāng)然是不夠的,我們的程序豈止于此,接下來(lái),我們每次訪(fǎng)問(wèn)頁(yè)面的時(shí)候,網(wǎng)頁(yè)源碼的圖片規(guī)則肯定是不能確定的,所以用戶(hù)可以自定義正則表達(dá)式去匹配數(shù)據(jù),就是我們接下來(lái)改進(jìn)的方向啦~
先把程序窗口擴(kuò)大一些
# 窗體大小設(shè)置 width = 800 height = 600
增加一個(gè)文本框和一個(gè)多行輸入框:
lbtip = tk.Label(win, text='請(qǐng)輸入正則表達(dá)式:') # 添加到窗口中 lbtip.grid(row=1,column=3,pady=20) # 創(chuàng)建一個(gè)多行文本框 - 用于輸入正則表達(dá)式 t1 = tk.Text(win, width=40,height=20) # 添加到窗口中 t1.grid(row=2,column=3,padx=20,columnspan=3)
看看布局,細(xì)節(jié)可以在調(diào)整一下:
獲取正則表達(dá)式輸入框數(shù)據(jù):
這個(gè)地方一個(gè)小知識(shí)點(diǎn)需要補(bǔ)充下,在tkiner中有兩種文本框,單行和多行,對(duì)于里面內(nèi)容的獲取方式也不同
#get()方法獲取Entry 文本框的內(nèi)容: txt = entry.get() #get()方法獲取Text 文本框的內(nèi)容: txt = text.get("0.0", "end")
Text.get(start, end) 的用法:
Text.get("0.0", "end") 解析: 第一個(gè)參數(shù)‘0.0’是指從第0行第0列開(kāi)始讀?。?lsquo;0.3’表示從第0行第3列開(kāi)始讀?。诙€(gè)參數(shù)end表示最后一個(gè)字符
寫(xiě)完測(cè)試下:
測(cè)試完畢:
尾聲
tkiner
其實(shí)寫(xiě)起來(lái)慢慢調(diào)整還是蠻有意思的,可以用來(lái)開(kāi)發(fā)一些不錯(cuò)的小工具
測(cè)試連接 http://baijiahao.baidu.com/s?id=1667856639211368322
測(cè)試正則 <img class="large" data-loadfunc=0 src="(.*?)"
到此這篇關(guān)于Python解決爬蟲(chóng)程序卡死問(wèn)題的文章就介紹到這了,更多相關(guān)Python卡死問(wèn)題內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
淺談Python 集合(set)類(lèi)型的操作——并交差
下面小編就為大家?guī)?lái)一篇淺談Python 集合(set)類(lèi)型的操作——并交差。小編覺(jué)得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2016-06-06Tensorflow加載模型實(shí)現(xiàn)圖像分類(lèi)識(shí)別流程詳解
在視覺(jué)領(lǐng)域可以分為:1、圖像分類(lèi) 2、語(yǔ)義分割 3、實(shí)例分割 4、目標(biāo)檢測(cè)(跟蹤) 5、關(guān)鍵點(diǎn)檢測(cè)。該篇主要講解利用Tensorflow 對(duì)圖像進(jìn)行圖像分類(lèi)2022-09-09手把手帶你了解Python數(shù)據(jù)分析--matplotlib
這篇文章主要介紹了Python實(shí)現(xiàn)matplotlib顯示中文的方法,結(jié)合實(shí)例形式詳細(xì)總結(jié)分析了Python使用matplotlib庫(kù)繪圖時(shí)顯示中文的相關(guān)操作技巧與注意事項(xiàng),需要的朋友可以參考下2021-08-08解決pandas報(bào)錯(cuò)'DataFrame' object has no
這篇文章主要介紹了解決pandas報(bào)錯(cuò)'DataFrame' object has no attribute 'as_matrix'問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-08-08python機(jī)器人運(yùn)動(dòng)范圍問(wèn)題的解答
這篇文章主要為大家詳細(xì)解答了python機(jī)器人的運(yùn)動(dòng)范圍問(wèn)題,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2019-04-04Pytorch基本變量類(lèi)型FloatTensor與Variable用法
今天小編就為大家分享一篇Pytorch基本變量類(lèi)型FloatTensor與Variable用法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-01-01python使用matplotlib繪制折線(xiàn)圖教程
Matplotlib是一個(gè)Python工具箱,用于科學(xué)計(jì)算的數(shù)據(jù)可視化。借助它,Python可以繪制如Matlab和Octave多種多樣的數(shù)據(jù)圖形。下面這篇文章主要介紹了python使用matplotlib如何繪制折線(xiàn)圖的方法教程,需要的朋友可以參考借鑒。2017-02-02