欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python多線程并發(fā)實例及其優(yōu)化

 更新時間：2019年06月27日 09:25:19   作者：linux超  
這篇文章主要介紹了python多線程并發(fā)實例及其優(yōu)化,threading是擴展模塊，在thread的基礎上進行了封裝及改進。所以只需要使用threading這個模塊就能完成并發(fā)的測試,需要的朋友可以參考下

單線程執(zhí)行

python的內(nèi)置模塊提供了兩個內(nèi)置模塊：thread和threading，thread是源生模塊，threading是擴展模塊，在thread的基礎上進行了封裝及改進。所以只需要使用threading這個模塊就能完成并發(fā)的測試

實例

創(chuàng)建并啟動一個單線程

import threading
def myTestFunc():
print("我是一個函數(shù)")
t = threading.Thread(target=myTestFunc) # 創(chuàng)建一個線程
t.start() # 啟動線程

執(zhí)行結果

C:\Python36\python.exe D:/MyThreading/myThread.py
我是一個線程函數(shù)
Process finished with exit code 0

其實單線程的執(zhí)行結果和單獨執(zhí)行某一個或者某一組函數(shù)結果是一樣的，區(qū)別只在于用線程的方式執(zhí)行函數(shù)，而線程是可以同時執(zhí)行多個的，函數(shù)是不可以同時執(zhí)行的。

多線程執(zhí)行

上面介紹了單線程如何使用，多線程只需要通過循環(huán)創(chuàng)建多個線程，并循環(huán)啟動線程執(zhí)行就可以了

實例

import threading
from datetime import datetime
def thread_func(): # 線程函數(shù)
  print('我是一個線程函數(shù)', datetime.now())
def many_thread():
  threads = []
  for _ in range(10): # 循環(huán)創(chuàng)建10個線程
    t = threading.Thread(target=thread_func)
    threads.append(t)
  for t in threads: # 循環(huán)啟動10個線程
    t.start()
if __name__ == '__main__':
  many_thread()

執(zhí)行結果

C:\Python36\python.exe D:/MyThreading/manythread.py
我是一個線程函數(shù) 2019-06-23 16:54:58.205146
我是一個線程函數(shù) 2019-06-23 16:54:58.205146
我是一個線程函數(shù) 2019-06-23 16:54:58.206159
我是一個線程函數(shù) 2019-06-23 16:54:58.206159
我是一個線程函數(shù) 2019-06-23 16:54:58.206159
我是一個線程函數(shù) 2019-06-23 16:54:58.207139
我是一個線程函數(shù) 2019-06-23 16:54:58.207139
我是一個線程函數(shù) 2019-06-23 16:54:58.207139
我是一個線程函數(shù) 2019-06-23 16:54:58.208150
我是一個線程函數(shù) 2019-06-23 16:54:58.208150
Process finished with exit code 0

通過循環(huán)創(chuàng)建10個線程，并且執(zhí)行了10次線程函數(shù)，但需要注意的是python的并發(fā)并非絕對意義上的同時處理，因為啟動線程是通過循環(huán)啟動的，還是有先后順序的，通過執(zhí)行結果的時間可以看出還是有細微的差異，但可以忽略不記。當然如果線程過多就會擴大這種差異。我們啟動500個線程看下程序執(zhí)行時間

實例

import threading
from datetime import datetime
def thread_func(): # 線程函數(shù)
print('我是一個線程函數(shù)', datetime.now())
def many_thread():
threads = []
for _ in range(500): # 循環(huán)創(chuàng)建500個線程
t = threading.Thread(target=thread_func)
threads.append(t)
for t in threads: # 循環(huán)啟動500個線程
t.start()
if __name__ == '__main__':
start = datetime.today().now()
many_thread()
duration = datetime.today().now() - start
print(duration)

執(zhí)行結果

0:00:00.111657
Process finished with exit code 0

500個線程共執(zhí)行了大約0.11秒

那么針對這種問題我們該如何優(yōu)化呢？我們可以創(chuàng)建25個線程，每個線程執(zhí)行20次線程函數(shù)，這樣在啟動下一個線程的時候，上一個線程已經(jīng)在循環(huán)執(zhí)行了，這樣就大大減少了并發(fā)的時間差異

優(yōu)化

import threading
from datetime import datetime
def thread_func(): # 線程函數(shù)
print('我是一個線程函數(shù)', datetime.now())
def execute_func():
for _ in range(20):
thread_func()
def many_thread():
start = datetime.now()
threads = []
for _ in range(25): # 循環(huán)創(chuàng)建500個線程
t = threading.Thread(target=execute_func)
threads.append(t)
for t in threads: # 循環(huán)啟動500個線程
t.start()
duration = datetime.now() - start
print(duration)
if __name__ == '__main__':
many_thread()

輸出結果(僅看程序執(zhí)行間隔)

0:00:00.014959
Process finished with exit code 0

后面的優(yōu)化執(zhí)行500次并發(fā)一共花了0.014秒。比未優(yōu)化前的500個并發(fā)快了幾倍，如果線程函數(shù)的執(zhí)行時間比較長的話，那么這個差異會更加顯著，所以大量的并發(fā)測試建議使用后者，后者比較接近同時“并發(fā)”

守護線程

多線程還有一個重要概念就是守護線程。那么在這之前我們需要知道主線程和子線程的區(qū)別，之前創(chuàng)建的線程其實都是main()線程的子線程，即先啟動主線程main()，然后執(zhí)行線程函數(shù)子線程。

那么什么是守護線程？即當主線程執(zhí)行完畢之后，所有的子線程也被關閉(無論子線程是否執(zhí)行完成)。默認不設置的情況下是沒有守護線程的，主線程執(zhí)行完畢后，會等待子線程全部執(zhí)行完畢，才會關閉結束程序。

但是這樣會有一個弊端，當子線程死循環(huán)了或者一直處于等待之中，則程序?qū)⒉粫魂P閉，被被無限掛起，我們把上述的線程函數(shù)改成循環(huán)10次, 并睡眠2秒，這樣效果會更明顯

import threading
from datetime import datetime
import time
def thread_func(): # 線程函數(shù)
　　 time.sleep(2)
i = 0
while(i < 11):
print(datetime.now())
i += 1
def many_thread():
threads = []
for _ in range(10): # 循環(huán)創(chuàng)建500個線程
t = threading.Thread(target=thread_func)
threads.append(t)
for t in threads: # 循環(huán)啟動500個線程
t.start()
if __name__ == '__main__':
many_thread()
print("thread end")

執(zhí)行結果

C:\Python36\python.exe D:/MyThreading/manythread.py
thread end
2019-06-23 19:08:00.468612
2019-06-23 19:08:00.468612
2019-06-23 19:08:00.468612
2019-06-23 19:08:00.468612
2019-06-23 19:08:00.468612
2019-06-23 19:08:00.468612
2019-06-23 19:08:00.468612
2019-06-23 19:08:00.468612
2019-06-23 19:08:00.468612
2019-06-23 19:08:00.468612
2019-06-23 19:08:00.468612
2019-06-23 19:08:00.469559
2019-06-23 19:08:00.469559
2019-06-23 19:08:00.469559
2019-06-23 19:08:00.469559
2019-06-23 19:08:00.469559
2019-06-23 19:08:00.469559
2019-06-23 19:08:00.470556
2019-06-23 19:08:00.470556
2019-06-23 19:08:00.470556
2019-06-23 19:08:00.470556
2019-06-23 19:08:00.470556
2019-06-23 19:08:00.470556
2019-06-23 19:08:00.470556
2019-06-23 19:08:00.470556
2019-06-23 19:08:00.470556
2019-06-23 19:08:00.470556
2019-06-23 19:08:00.470556
2019-06-23 19:08:00.470556
2019-06-23 19:08:00.470556
2019-06-23 19:08:00.470556
2019-06-23 19:08:00.470556
2019-06-23 19:08:00.471554
2019-06-23 19:08:00.471554
2019-06-23 19:08:00.471554
2019-06-23 19:08:00.471554
2019-06-23 19:08:00.471554
2019-06-23 19:08:00.471554
2019-06-23 19:08:00.471554
2019-06-23 19:08:00.471554
2019-06-23 19:08:00.471554
2019-06-23 19:08:00.471554
2019-06-23 19:08:00.471554
2019-06-23 19:08:00.471554
2019-06-23 19:08:00.472557
2019-06-23 19:08:00.472557
2019-06-23 19:08:00.472557
2019-06-23 19:08:00.472557
2019-06-23 19:08:00.472557
2019-06-23 19:08:00.472557
2019-06-23 19:08:00.472557
2019-06-23 19:08:00.472557
2019-06-23 19:08:00.472557
2019-06-23 19:08:00.472557
2019-06-23 19:08:00.472557
2019-06-23 19:08:00.472557
2019-06-23 19:08:00.472557
2019-06-23 19:08:00.472557
2019-06-23 19:08:00.472557
2019-06-23 19:08:00.473548
2019-06-23 19:08:00.473548
2019-06-23 19:08:00.473548
2019-06-23 19:08:00.473548
2019-06-23 19:08:00.473548
2019-06-23 19:08:00.473548
2019-06-23 19:08:00.473548
2019-06-23 19:08:00.473548
2019-06-23 19:08:00.473548
2019-06-23 19:08:00.473548
2019-06-23 19:08:00.473548
2019-06-23 19:08:00.473548
2019-06-23 19:08:00.473548
2019-06-23 19:08:00.474545
2019-06-23 19:08:00.474545
2019-06-23 19:08:00.474545
2019-06-23 19:08:00.474545
2019-06-23 19:08:00.474545
2019-06-23 19:08:00.474545
2019-06-23 19:08:00.474545
2019-06-23 19:08:00.475552
2019-06-23 19:08:00.475552
2019-06-23 19:08:00.475552
2019-06-23 19:08:00.475552
2019-06-23 19:08:00.475552
2019-06-23 19:08:00.475552
2019-06-23 19:08:00.475552
2019-06-23 19:08:00.475552
2019-06-23 19:08:00.475552
2019-06-23 19:08:00.476548
2019-06-23 19:08:00.476548
2019-06-23 19:08:00.476548
2019-06-23 19:08:00.476548
2019-06-23 19:08:00.476548
2019-06-23 19:08:00.476548
2019-06-23 19:08:00.476548
2019-06-23 19:08:00.476548
2019-06-23 19:08:00.476548
2019-06-23 19:08:00.476548
2019-06-23 19:08:00.477546
2019-06-23 19:08:00.477546
2019-06-23 19:08:00.477546
2019-06-23 19:08:00.477546
2019-06-23 19:08:00.477546
2019-06-23 19:08:00.477546
2019-06-23 19:08:00.477546
2019-06-23 19:08:00.477546
2019-06-23 19:08:00.477546
2019-06-23 19:08:00.477546
2019-06-23 19:08:00.477546
2019-06-23 19:08:00.477546
Process finished with exit code 0

根據(jù)上述結果可以看到主線程打印了“thread end”之后（主線程結束），子線程還在繼續(xù)執(zhí)行，并未隨著主線程的結束而結束

下面我們通過 setDaemon方法給子線程添加守護線程，我們把循環(huán)改為死循環(huán)，再來看看輸出結果(注意守護線程要加在start之前)

import threading
from datetime import datetime
def thread_func(): # 線程函數(shù)
i = 0
while(1):
print(datetime.now())
i += 1
def many_thread():
threads = []
for _ in range(10): # 循環(huán)創(chuàng)建500個線程
t = threading.Thread(target=thread_func)
threads.append(t)
t.setDaemon(True) # 給每個子線程添加守護線程
for t in threads: # 循環(huán)啟動500個線程
t.start()

if __name__ == '__main__':
many_thread()
print("thread end")

輸出結果

2019-06-23 19:12:35.564539
2019-06-23 19:12:35.564539
2019-06-23 19:12:35.564539
2019-06-23 19:12:35.564539
2019-06-23 19:12:35.564539
2019-06-23 19:12:35.564539
2019-06-23 19:12:35.565529
2019-06-23 19:12:35.565529
2019-06-23 19:12:35.565529
thread end
Process finished with exit code 0

通過結果我們可以發(fā)現(xiàn)，主線程關閉之后子線程也會隨著關閉，并沒有無限的循環(huán)下去，這就像程序執(zhí)行到一半強制關閉執(zhí)行一樣，看似暴力卻很有用，如果子線程發(fā)送一個請求未收到請求結果，那不可能永遠等下去，這時候就需要強制關閉。所以守護線程解決了主線程和子線程關閉的問題。

阻塞線程

上面說了守護線程的作用，那么有沒有別的方法來解決上述問題呢？ 其實是有的，那就是阻塞線程，這種方式更加合理，使用join()方法阻塞線程，讓主線程等待子線程執(zhí)行完成之后再往下執(zhí)行，再關閉所有子線程，而不是只要主線程結束，不管子線程是否執(zhí)行完成都終止子線程執(zhí)行。下面我們給子線程添加上join()（主要join要加到start之后）

import threading
from datetime import datetime
import time
def thread_func(): # 線程函數(shù)
time.sleep(1)
i = 0
while(i < 11):
print(datetime.now())
i += 1
def many_thread():
threads = []
for _ in range(10): # 循環(huán)創(chuàng)建500個線程
t = threading.Thread(target=thread_func)
threads.append(t)
t.setDaemon(True) # 給每個子線程添加守護線程
for t in threads: # 循環(huán)啟動500個線程
t.start()
for t in threads:
t.join() # 阻塞線程
if __name__ == '__main__':
many_thread()
print("thread end")

執(zhí)行結果

程序會一直執(zhí)行，但是不會打印“thread end”語句，因為子線程并未結束，那么主線程就會一直等待。

疑問：有人會覺得這和什么都不設置是一樣的，其實會有一點區(qū)別的，從守護線程和線程阻塞的定義就可以看出來，如果什么都沒設置，那么主線程會先執(zhí)行完畢打印后面的“thread end”，而等待子線程執(zhí)行完畢。兩個都設置了，那么主線程會等待子線程執(zhí)行結束再繼續(xù)執(zhí)行。

而對于死循環(huán)或者一直等待的情況，我們可以給join設置超時等待，我們設置join的參數(shù)為2，那么子線程會告訴主線程讓其等待2秒，如果2秒內(nèi)子線程執(zhí)行結束主線程就繼續(xù)往下執(zhí)行，如果2秒內(nèi)子線程未結束，主線程也會繼續(xù)往下執(zhí)行，執(zhí)行完成后關閉子線程

輸出結果

import threading
from datetime import datetime
import time
def thread_func(): # 線程函數(shù)
time.sleep(1)
i = 0
while(1):
print(datetime.now())
i += 1
def many_thread():
threads = []
for _ in range(10): # 循環(huán)創(chuàng)建500個線程
t = threading.Thread(target=thread_func)
threads.append(t)
t.setDaemon(True) # 給每個子線程添加守護線程
for t in threads: # 循環(huán)啟動500個線程
t.start()
for t in threads:
t.join(2) # 設置子線程超時2秒
if __name__ == '__main__':
many_thread()
print("thread end")

你運行程序后會發(fā)現(xiàn)，運行了大概2秒的時候，程序會數(shù)據(jù)“thread end” 然后結束程序執(zhí)行， 這就是阻塞線程的意義，控制子線程和主線程的執(zhí)行順序

總結

最好呢，再次說一下守護線程和阻塞線程的定義

  • 守護線程：子線程會隨著主線程的結束而結束，無論子線程是否執(zhí)行完畢
  • 阻塞線程：主線程會等待子線程的執(zhí)行結束，才繼續(xù)執(zhí)行

以上就是本文的全部內(nèi)容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。

相關文章

  • Python實現(xiàn)線程池之線程安全隊列

    Python實現(xiàn)線程池之線程安全隊列

    這篇文章主要為大家詳細介紹了Python實現(xiàn)線程池之線程安全隊列，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下
    2022-05-05
  • Python3 Click模塊的使用方法詳解

    Python3 Click模塊的使用方法詳解

    這篇文章主要介紹了Python3 Click模塊的使用方法詳解,需要的朋友可以參考下
    2020-02-02
  • 分析總結Python數(shù)據(jù)化運營KMeans聚類

    分析總結Python數(shù)據(jù)化運營KMeans聚類

    本文主要以 Python 使用 Keans 進行聚類分析的簡單舉例應用介紹聚類分析，它是探索性數(shù)據(jù)挖掘的主要任務，也是統(tǒng)計數(shù)據(jù)分析的常用技術，用于許多領域
    2021-08-08
  • Python連接字符串過程詳解

    Python連接字符串過程詳解

    這篇文章主要介紹了python連接字符串過程詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
    2020-01-01
  • python實現(xiàn)126郵箱發(fā)送郵件

    python實現(xiàn)126郵箱發(fā)送郵件

    這篇文章主要為大家詳細介紹了python實現(xiàn)126郵箱發(fā)送郵件，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下
    2020-05-05
  • Python如何將給定字符串中的大寫英文字母按以下對應規(guī)則替換

    Python如何將給定字符串中的大寫英文字母按以下對應規(guī)則替換

    這篇文章主要介紹了Python如何將給定字符串中的大寫英文字母按以下對應規(guī)則替換，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
    2021-10-10
  • python計數(shù)排序和基數(shù)排序算法實例

    python計數(shù)排序和基數(shù)排序算法實例

    這篇文章主要介紹了python計數(shù)排序和基數(shù)排序算法實例,需要的朋友可以參考下
    2014-04-04
  • django數(shù)據(jù)模型on_delete, db_constraint的使用詳解

    django數(shù)據(jù)模型on_delete, db_constraint的使用詳解

    這篇文章主要介紹了django數(shù)據(jù)模型on_delete, db_constraint的使用詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
    2019-12-12
  • cython加速python代碼的方法實現(xiàn)

    cython加速python代碼的方法實現(xiàn)

    本文主要介紹了cython加速python代碼的方法實現(xiàn),特別是在涉及到數(shù)值計算密集型任務時,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2024-07-07
  • TensorFlow搭建神經(jīng)網(wǎng)絡最佳實踐

    TensorFlow搭建神經(jīng)網(wǎng)絡最佳實踐

    這篇文章主要為大家詳細介紹了TensorFlow搭建神經(jīng)網(wǎng)絡最佳實踐，具有一定的參考價值，感興趣的小伙伴們可以參考一下
    2018-03-03

最新評論