日常前言

最近接 到一個搶票的爬蟲外包，那個網(wǎng)站及其之撈，訪問購票地址竟然還要排隊，在購票高峰臨時升一下服務(wù)器配置不行嗎…沒辦法，甲方爸爸的要求還得做啊，其中一個障礙便是目標(biāo)網(wǎng)站的后端限制了訪問頻次，俗話說：“上有政策，下有對策。” 立刻想到了多線程 + 多代理的方式進(jìn)行訪問。

但此時問題便來了，多代理還好說，再寫個爬蟲爬一堆下來就好，多線程可就麻煩多了，多線程一旦發(fā)出去了，基本等同于失控的狀態(tài)，你無法去結(jié)束或者是重啟一個線程，最多只能是獲取線程的信息，沒有實際的控制權(quán)，而且Python官方也沒有提供相應(yīng)的結(jié)束函數(shù)。那么接下來，讓我們來好好聊聊解決這個問題的思路。

單線程的結(jié)束

說實話，會百度在程序世界是一個優(yōu)秀的習(xí)慣，不然怎么會有這么一張表情包呢

但是百度這一次卻不盡人意，搜了很久，結(jié)果不盡人意，基本上所有的搜索結(jié)果都告訴我只有結(jié)束單個線程的方法，我也試過循環(huán)使用百度的結(jié)束函數(shù)，但最終都只能是結(jié)束的當(dāng)前的這一個線程，無法達(dá)到目標(biāo)。

貼一段搜到的單線程結(jié)束代碼示例

def _async_raise(tid, exctype):
 tid = ctypes.c_long(tid)
 if not inspect.isclass(exctype):
  exctype = type(exctype)
 res = ctypes.pythonapi.PyThreadState_SetAsyncExc(tid, ctypes.py_object(exctype))
 if res == 0:
  raise ValueError("invalid thread id")
 elif res != 1:
  ctypes.pythonapi.PyThreadState_SetAsyncExc(tid, None)
  raise SystemError("PyThreadState_SetAsyncExc failed")
  
def stop_thread(thread):
 _async_raise(thread.ident, SystemExit)

那怎么結(jié)束多個線程呢？

既然度娘也搜不到，那就自己探索，打開python threading模塊的官方文檔，其中一個daemon屬性進(jìn)入了視野，單詞翻譯過來便是守護(hù)進(jìn)程，相信大家應(yīng)該或多或少的聽到過，以下是官方的釋義，大概意思就是只要在啟動線程之前設(shè)置了這個屬性為True，當(dāng)父進(jìn)程結(jié)束時，所有的子進(jìn)程跟著全部結(jié)束，這樣就好辦了，接下來看看代碼部分。

daemon
A boolean value indicating whether this thread is a daemon thread (True) or not (False). This must be set before start() is called, otherwise RuntimeError is raised. Its initial value is inherited from the creating thread; the main thread is not a daemon thread and therefore all threads created in the main thread default to daemon = False.

完整代碼

import threading,time,random

class Messy:
 def __init__(self):
  self.__messy = 0

 def m(self,i):
		# 隨機時間進(jìn)行打印
  time.sleep(random.random()*2)
  print(i)
  if i == 1:
   self.__messy = 1

 def main(self):
  Threads = []
  # 將會啟動10個線程,線程id為 1 時全部線程終止！
  for i in range(10):
   t = threading.Thread(target=self.m,args=(i,))
   t.daemon = 1
   Threads.append(t)
  # 啟動所有線程
  for i in Threads:
   i.start()
  # 當(dāng)標(biāo)志位【 messy 】時所有多線程結(jié)束
  while 1:
   if self.__messy:
    break
  print('線程已退出!')

Messy().main()
# 繼續(xù)執(zhí)行后續(xù)程序
for i in range(5):
 print('yeah!')

此時，main這個函數(shù)對于多線程來講，便是父進(jìn)程，也就是守護(hù)進(jìn)程。預(yù)計會進(jìn)行10次循環(huán)的數(shù)字打印，但是當(dāng)self.__messy這個標(biāo)志位為真時，所有的剩余子線程將不會再執(zhí)行，直接結(jié)束進(jìn)行后續(xù)的操作

e.g:如下圖便只打印了四次

最后

目前來講，用設(shè)置主線程退出的方法是可以完成現(xiàn)在這個搶票的目標(biāo)。

但是后來發(fā)現(xiàn)其實這么做也會帶來很多壞處，直接殺掉所有子線程對系統(tǒng)來說是一個很粗魯?shù)男袨椋绻婕暗降牟僮靼?code>文件數(shù)據(jù)、數(shù)據(jù)庫數(shù)據(jù)的改動的話，內(nèi)存無法被合理釋放（之前就遇到過CPU莫名占用滿），極有可能造成數(shù)據(jù)丟失甚至系統(tǒng)中斷。

我這里只是一個搶票的小程序，子線程只用到了POST，網(wǎng)絡(luò)請求中斷帶來的影響還是相對來講比較小的，所以大家酌情使用本篇所介紹的方法。

本文作者: Messy
原文鏈接:https://www.messys.top/detail/78

到此這篇關(guān)于Python多線程的退出控制實現(xiàn)的文章就介紹到這了,更多相關(guān)Python多線程退出控制內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論