欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

用Python實(shí)現(xiàn)一個(gè)簡(jiǎn)單的線程池

 更新時(shí)間:2015年04月07日 14:53:12   投稿:goldensun  
這篇文章主要介紹了用Python實(shí)現(xiàn)一個(gè)簡(jiǎn)單的線程池,通過這個(gè)小程序可以幫助更好地理解Python中線程的運(yùn)行機(jī)制,需要的朋友可以參考下

線程池的概念是什么?

在面向?qū)ο缶幊讨?,?chuàng)建和銷毀對(duì)象是很費(fèi)時(shí)間的,因?yàn)閯?chuàng)建一個(gè)對(duì)象要獲取內(nèi)存資源或者其它更多資源。在Java中更是 如此,虛擬機(jī)將試圖跟蹤每一個(gè)對(duì)象,以便能夠在對(duì)象銷毀后進(jìn)行垃圾回收。所以提高服務(wù)程序效率的一個(gè)手段就是盡可能減少創(chuàng)建和銷毀對(duì)象的次數(shù),特別是一些 很耗資源的對(duì)象創(chuàng)建和銷毀。如何利用已有對(duì)象來服務(wù)就是一個(gè)需要解決的關(guān)鍵問題,其實(shí)這就是一些"池化資源"技術(shù)產(chǎn)生的原因。

我理解為線程池是一個(gè)存放很多線程的單位,同時(shí)還有一個(gè)對(duì)應(yīng)的任務(wù)隊(duì)列。整個(gè)執(zhí)行過程其實(shí)就是使用線程池中已有有限的線程把任務(wù) 隊(duì)列中的任務(wù)做完。這樣做的好處就是你不需要為每個(gè)任務(wù)都創(chuàng)建一個(gè)線程,因?yàn)楫?dāng)你創(chuàng)建第100個(gè)線程來執(zhí)行第100個(gè)任務(wù)的時(shí)候,可能前面已經(jīng)有50個(gè)線 程結(jié)束工作了。因此重復(fù)利用線程來執(zhí)行任務(wù),減少系統(tǒng)資源的開銷。

一個(gè)不怎么恰當(dāng)?shù)谋扔骶褪牵?00臺(tái)電腦主機(jī)箱需要從1樓搬到2樓,你不需要喊來100人幫忙搬,你只需要叫十個(gè)或者二十個(gè)人就足以,每個(gè)人分配十個(gè)或者五個(gè)甚至是誰搬的快誰就多搬知道完成未知。(這個(gè)比喻好像。。。。。)

不管如何吧,大體上理解了線程池的概念。那么怎么用python實(shí)現(xiàn)呢?

代碼如下
 

# !/usr/bin/env python
# -*- coding:utf-8 -*-
# ref_blog:http://www.open-open.com/home/space-5679-do-blog-id-3247.html
import Queue
import threading
import time
class WorkManager(object):
  def __init__(self, work_num=1000,thread_num=2):
    self.work_queue = Queue.Queue()
    self.threads = []
    self.__init_work_queue(work_num)
    self.__init_thread_pool(thread_num)
  """
    初始化線程
  """
  def __init_thread_pool(self,thread_num):
    for i in range(thread_num):
      self.threads.append(Work(self.work_queue))
  """
    初始化工作隊(duì)列
  """
  def __init_work_queue(self, jobs_num):
    for i in range(jobs_num):
      self.add_job(do_job, i)
  """
    添加一項(xiàng)工作入隊(duì)
  """
  def add_job(self, func, *args):
    self.work_queue.put((func, list(args)))#任務(wù)入隊(duì),Queue內(nèi)部實(shí)現(xiàn)了同步機(jī)制
  """
    檢查剩余隊(duì)列任務(wù)
  """
  def check_queue(self):
    return self.work_queue.qsize()
  """
    等待所有線程運(yùn)行完畢
  """ 
  def wait_allcomplete(self):
    for item in self.threads:
      if item.isAlive():item.join()
class Work(threading.Thread):
  def __init__(self, work_queue):
    threading.Thread.__init__(self)
    self.work_queue = work_queue
    self.start()
  def run(self):
    #死循環(huán),從而讓創(chuàng)建的線程在一定條件下關(guān)閉退出
    while True:
      try:
        do, args = self.work_queue.get(block=False)#任務(wù)異步出隊(duì),Queue內(nèi)部實(shí)現(xiàn)了同步機(jī)制
        do(args)
        self.work_queue.task_done()#通知系統(tǒng)任務(wù)完成
      except Exception,e:
        print str(e)
        break
#具體要做的任務(wù)
def do_job(args):
  print args
  time.sleep(0.1)#模擬處理時(shí)間
  print threading.current_thread(), list(args)
if __name__ == '__main__':
  start = time.time()
  work_manager = WorkManager(10, 2)#或者work_manager = WorkManager(10000, 20)
  work_manager.wait_allcomplete()
  end = time.time()
  print "cost all time: %s" % (end-start)

這個(gè)代碼清晰易懂。

整個(gè)代碼只有兩個(gè)類:WorkManager和Work,前者確實(shí)如命名所示,是一個(gè)管理者,管理線程池和任務(wù)隊(duì)列,而后者就是具體的一個(gè)線程。

它的整個(gè)運(yùn)行邏輯就是,給WorkManager分配制定的任務(wù)量和線程數(shù),然后每個(gè)線程都從任務(wù)隊(duì)列中獲取任務(wù)來執(zhí)行,直到隊(duì)列中沒有任務(wù)。這里面也用到了Queue內(nèi)部的同步機(jī)制(至于是啥同步機(jī)制目前還沒去研究)。

總結(jié)一下這樣一個(gè)線程池的作用,對(duì)于我本來的目的其實(shí)這個(gè)東西是永不上的,因?yàn)槲倚枰趙eb頁(yè)面來控制線程的啟動(dòng)和停止,而這個(gè)線程池看起來只是用來并發(fā)完任務(wù)的。不過我想雖然在控制線程方面沒有作用,但是它的并發(fā)執(zhí)行任務(wù)的作用還是蠻不錯(cuò),或許可以用在爬網(wǎng)頁(yè)的部分。

相關(guān)文章

  • 使用pycharm運(yùn)行flask應(yīng)用程序的詳細(xì)教程

    使用pycharm運(yùn)行flask應(yīng)用程序的詳細(xì)教程

    這篇文章主要介紹了使用pycharm運(yùn)行flask應(yīng)用程序,首先大家需要使用pycharm創(chuàng)建你的第一個(gè)app,接下來就開始配置pycharm,需要的朋友可以參考下
    2021-06-06
  • Python的函數(shù)使用介紹

    Python的函數(shù)使用介紹

    這篇文章主要介紹了Python的函數(shù)使用,在兩種python循環(huán)語(yǔ)句的使用中,不僅僅是循環(huán)條件達(dá)到才能跳出循環(huán)體。所以,在對(duì)python函數(shù)進(jìn)行闡述之前,先對(duì)跳出循環(huán)的簡(jiǎn)單語(yǔ)句塊進(jìn)行介紹,需要的朋友可以參考一下
    2021-12-12
  • matplotlib之Pyplot模塊繪制三維散點(diǎn)圖使用顏色表示數(shù)值大小

    matplotlib之Pyplot模塊繪制三維散點(diǎn)圖使用顏色表示數(shù)值大小

    在撰寫論文時(shí)常常會(huì)用到matplotlib來繪制三維散點(diǎn)圖,下面這篇文章主要給大家介紹了關(guān)于matplotlib之Pyplot模塊繪制三維散點(diǎn)圖使用顏色表示數(shù)值大小的相關(guān)資料,文中通過圖文介紹的非常詳細(xì),需要的朋友可以參考下
    2022-08-08
  • Python數(shù)據(jù)結(jié)構(gòu)與算法之字典樹實(shí)現(xiàn)方法示例

    Python數(shù)據(jù)結(jié)構(gòu)與算法之字典樹實(shí)現(xiàn)方法示例

    這篇文章主要介紹了Python數(shù)據(jù)結(jié)構(gòu)與算法之字典樹實(shí)現(xiàn)方法,可實(shí)現(xiàn)針對(duì)單詞出現(xiàn)次數(shù)的統(tǒng)計(jì)功能,涉及Python樹結(jié)構(gòu)的定義、遍歷及統(tǒng)計(jì)等相關(guān)操作技巧,需要的朋友可以參考下
    2017-12-12
  • 詳解python tkinter模塊安裝過程

    詳解python tkinter模塊安裝過程

    tkinter其實(shí)是Python調(diào)用tcl程序的標(biāo)準(zhǔn)Python程序,可以通過這個(gè)interface調(diào)用tcl的程序,因?yàn)樵诖蠖鄶?shù)的unix系統(tǒng)中都內(nèi)置了很多的tcl程序和命令。這篇文章主要介紹了python tkinter模塊安裝,需要的朋友可以參考下
    2020-01-01
  • python調(diào)用kubernetesAPI簡(jiǎn)單使用方法

    python調(diào)用kubernetesAPI簡(jiǎn)單使用方法

    這篇文章主要介紹了python調(diào)用kubernetesAPI簡(jiǎn)單使用方法,K8s也提供API接口,提供這個(gè)接口的是管理節(jié)點(diǎn)的apiserver組件,下文更多相關(guān)內(nèi)容,需要的小伙伴可以參考一下
    2022-05-05
  • Python增強(qiáng)下git那長(zhǎng)長(zhǎng)的指令詳解

    Python增強(qiáng)下git那長(zhǎng)長(zhǎng)的指令詳解

    這篇文章主要介紹了Python增強(qiáng)下git那長(zhǎng)長(zhǎng)的指令 ,在開發(fā)中用到的代碼目錄結(jié)構(gòu),本文也給大家詳細(xì)講解,需要的朋友可以參考下
    2021-09-09
  • 對(duì)python中的 os.mkdir和os.mkdirs詳解

    對(duì)python中的 os.mkdir和os.mkdirs詳解

    今天小編就為大家分享一篇對(duì)python中的 os.mkdir和os.mkdirs詳解,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
    2018-10-10
  • 安裝pytorch報(bào)錯(cuò)torch.cuda.is_available()=false問題的解決過程

    安裝pytorch報(bào)錯(cuò)torch.cuda.is_available()=false問題的解決過程

    最近想用pytorch,因此裝了pytorch,但是碰到了問題,下面這篇文章主要給大家介紹了關(guān)于安裝pytorch報(bào)錯(cuò)torch.cuda.is_available()=false問題的解決過程,需要的朋友可以參考下
    2022-05-05
  • 簡(jiǎn)單講解Python中的數(shù)字類型及基本的數(shù)學(xué)計(jì)算

    簡(jiǎn)單講解Python中的數(shù)字類型及基本的數(shù)學(xué)計(jì)算

    這篇文章主要介紹了Python中的數(shù)字類型及基本的數(shù)學(xué)計(jì)算,與其他語(yǔ)言一樣,除法相對(duì)復(fù)雜些,不過本文并未就此深入,需要的朋友可以參考下
    2016-03-03

最新評(píng)論