欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python結(jié)合多線程爬取英雄聯(lián)盟皮膚(原理分析)

 更新時間:2021年05月27日 08:33:46   作者:武亮宇  
多線程是為了同步完成多項任務(wù),不是為了提高運行效率,而是為了提高資源使用效率來提高系統(tǒng)的效率。這篇文章主要介紹了python爬取英雄聯(lián)盟皮膚結(jié)合多線程的方法,需要的朋友可以參考下

1.什么是多線程?

多線程是為了同步完成多項任務(wù),不是為了提高運行效率,而是為了提高資源使用效率來提高系統(tǒng)的效率。線程是在同一時間需要完成多項任務(wù)的時候?qū)崿F(xiàn)的。

為什么要使用多線程
線程在程序中是獨立的、并發(fā)的執(zhí)行流。與分隔的進程相比,進程中線程之間的隔離程度要小,它們共享內(nèi)存、文件句柄和其他進程應(yīng)有的狀態(tài)。

因為線程的劃分尺度小于進程,使得多線程程序的并發(fā)性高。進程在執(zhí)行過程中擁有獨立的內(nèi)存單元,而多個線程共享內(nèi)存,從而極大地提高了程序的運行效率。

線程比進程具有更高的性能,這是由于同一個進程中的線程都有共性多個線程共享同一個進程的虛擬空間。線程共享的環(huán)境包括進程代碼段、進程的公有數(shù)據(jù)等,利用這些共享的數(shù)據(jù),線程之間很容易實現(xiàn)通信。

操作系統(tǒng)在創(chuàng)建進程時,必須為該進程分配獨立的內(nèi)存空間,并分配大量的相關(guān)資源,但創(chuàng)建線程則簡單得多。因此,使用多線程來實現(xiàn)并發(fā)比使用多進程的性能要高得多。

總結(jié)起來,使用多線程編程具有如下幾個優(yōu)點:

進程之間不能共享內(nèi)存,但線程之間共享內(nèi)存非常容易。

操作系統(tǒng)在創(chuàng)建進程時,需要為該進程重新分配系統(tǒng)資源,但創(chuàng)建線程的代價則小得多。因此,使用多線程來實現(xiàn)多任務(wù)并發(fā)執(zhí)行比使用多進程的效率高。

Python 語言內(nèi)置了多線程功能支持,而不是單純地作為底層操作系統(tǒng)的調(diào)度方式,從而簡化了 Python 的多線程編程。

2.原理

實現(xiàn)多線程是采用一種并發(fā)執(zhí)行機制 。
并發(fā)執(zhí)行機制原理:簡單地說就是把一個處理器劃分為若干個短的時間片,每個時間片依次輪流地執(zhí)行處理各個應(yīng)用程序,由于一個時間片很短,相對于一個應(yīng)用程序來說,就好像是處理器在為自己單獨服務(wù)一樣,從而達到多個應(yīng)用程序在同時進行的效果 。
多線程就是把操作系統(tǒng)中的這種并發(fā)執(zhí)行機制原理運用在一個程序中,把一個程序劃分為若干個子任務(wù),多個子任務(wù)并發(fā)執(zhí)行,每一個任務(wù)就是一個線程。這就是多線程程序 。

在這里插入圖片描述

3.優(yōu)點

1、使用線程可以把占據(jù)時間長的程序中的任務(wù)放到后臺去處理 。
2、用戶界面可以更加吸引人,這樣比如用戶點擊了一個按鈕去觸發(fā)某些事件的處理,可以彈出一個進度條來顯示處理的進度。
3、程序的運行速度可能加快 。
4、在一些等待的任務(wù)實現(xiàn)上如用戶輸入、文件讀寫和網(wǎng)絡(luò)收發(fā)數(shù)據(jù)等,線程就比較有用了。在這種情況下可以釋放一些珍貴的資源如內(nèi)存占用等 。
5、多線程技術(shù)在IOS軟件開發(fā)中也有舉足輕重的作用。

4.缺點

1、如果有大量的線程,會影響性能,因為操作系統(tǒng)需要在它們之間切換。
2、更多的線程需要更多的內(nèi)存空間。
3、線程可能會給程序帶來更多“bug”,因此要小心使用。
4、線程的中止需要考慮其對程序運行的影響。
5、通常塊模型數(shù)據(jù)是在多個線程間共享的,需要防止線程死鎖情況的發(fā)生。

好的廢話不多說,我們直接來實戰(zhàn)吧

1.進入英雄聯(lián)盟官網(wǎng)點擊游戲資料進入此畫面

在這里插入圖片描述

2.確定爬取的網(wǎng)頁是同步加載還是異步加載

1.鼠標右鍵打開網(wǎng)頁源代碼
2.ctrl+f打開搜索框
3.在搜索框了輸入英雄的名字

在這里插入圖片描述

沒有搜索結(jié)果則為異步加載 3.尋找英雄url地址

回到英雄頁面鼠標右擊打開檢查。

在這里插入圖片描述

在獲取的包中找到hero_list.js這個包 英語翻譯過來英雄列表.js文件

在這里插入圖片描述

點擊網(wǎng)頁上英雄安妮拿回地址再點擊其他英雄拿回地址做比較。

安妮:

在這里插入圖片描述

狂戰(zhàn)士:

在這里插入圖片描述

點擊headers拿回resquests url
安妮:https://game.gtimg.cn/images/lol/act/img/js/hero/1.js
狂戰(zhàn)士:https://game.gtimg.cn/images/lol/act/img/js/hero/2.js

可以發(fā)現(xiàn)變化在最后面 是英雄的id 這樣我們有思路了

1.第一次發(fā)送請求,拿回所有英雄的id和名字
2.第二次請求,得到英雄皮膚名,英雄手機皮膚url, 英雄電腦皮膚url
3.請求得到 手機圖片二進制數(shù)據(jù), 電腦圖片二進制數(shù)據(jù)
4.保存電腦版英雄聯(lián)盟圖片,保存手機版英雄聯(lián)盟圖片
5.多進程實現(xiàn)保存數(shù)據(jù)

是時候?qū)懸稽c代碼了。。。嘿嘿

起始地址弄成全局變量

在這里插入圖片描述

觀察網(wǎng)頁

在這里插入圖片描述

1第一次請求,我們要拿回這兩個數(shù)據(jù)??梢钥闯鰌review里面是個json數(shù)據(jù),導入jsonpath庫進行提取數(shù)據(jù)。

在這里插入圖片描述

2第二次請求,得到英雄皮膚名,英雄手機皮膚url, 英雄電腦皮膚url

在這里插入圖片描述
在這里插入圖片描述

3 請求得到 手機圖片二進制數(shù)據(jù), 電腦圖片二進制數(shù)據(jù) 利用try-except語句防止報錯停止代碼運行。

在這里插入圖片描述

4.保存電腦版英雄聯(lián)盟圖片,保存手機版英雄聯(lián)盟圖片,利用try-except語句防止報錯停止代碼運行。

在這里插入圖片描述

5.多進程實現(xiàn)保存數(shù)據(jù) 導包:import threading
threading.Thread(target=self.函數(shù)名, args=(用到的參數(shù))) 寫法

在這里插入圖片描述

代碼全解:

在這里插入圖片描述

在這里插入圖片描述
在這里插入圖片描述
在這里插入圖片描述

最后在發(fā)一個守護線程防止報錯的模板,大家好好參考。

from threading import Thread
from queue import Queue

class Love(object):
def init(self):
# 隊列容量,隊列創(chuàng)建 ,[], {}
self.q = Queue()

def parse_data(self):
    """功能:往隊列添加數(shù)據(jù)"""
    data = "第{}天----我愛你----"
    for i in range(1, 100):
        # 將數(shù)據(jù)放入隊列,put的時候計數(shù)+1,get不會-1,get需要和task_done一起使用才會-1
        self.q.put(data.format(i))
    # 等待task_done()返回的信號量和put進去的數(shù)量一直才會往下執(zhí)行
    # join所完成的工作就是線程同步,即主線程任務(wù)結(jié)束之后,進入阻塞狀態(tài),一
    # 直等待其他的子線程執(zhí)行結(jié)束之后,主線程在終止,否則主線程會殺死子線程
    # 主線程結(jié)束后子線程無論是否執(zhí)行完畢都將結(jié)束,因此join的作用就顯現(xiàn)出來了
    self.q.join()

def func2(self):
    """功能:從隊列中獲取數(shù)據(jù)"""
    while True:
        # 循環(huán)從隊列中獲取, 取出數(shù)據(jù),隊列為空的時候會等待
        result = self.q.get()
        print(result)
        # 使隊列計數(shù)-1
        self.q.task_done()

def run(self):
    # 進程創(chuàng)建
    """進程:功能:往隊列中添加數(shù)據(jù)"""
    m1 = Thread(target=self.parse_data)
    """進程:功能:從隊列里面獲取數(shù)據(jù)"""
    m2 = Thread(target=self.func2)
    m1.start()
    # 將m2設(shè)置成守護進程 因為m2一直是死循環(huán),設(shè)置成守護進程之后當主程序代碼運行完畢,m2就會結(jié)束,不會成為僵尸進程
    # 即只在需要的時候才啟動,完成任務(wù)后就自動結(jié)束
    m2.daemon = True
    m2.start()
    # 隊列中維持了一個計數(shù),計數(shù)不為0時候讓主線程阻塞等待,隊列計數(shù)為0的時候才會繼續(xù)往后執(zhí)行

    m1.join()

if name == ‘main':
love = Love()
love.run()

祝大家學習python順利

以上就是python爬取英雄聯(lián)盟皮膚結(jié)合多線程的方法的詳細內(nèi)容,更多關(guān)于python爬取英雄聯(lián)盟皮膚的資料請關(guān)注腳本之家其它相關(guān)文章!

相關(guān)文章

  • Python中的文本相似度的計算方法總結(jié)

    Python中的文本相似度的計算方法總結(jié)

    在自然語言處理(NLP)領(lǐng)域,文本相似度計算是一個常見的任務(wù),本文為大家整理了Python中的文本相似度常見計算方法,希望對大家有所幫助
    2023-05-05
  • 使用Python判斷一個文件是否被占用的方法教程

    使用Python判斷一個文件是否被占用的方法教程

    這篇文章主要給大家介紹了關(guān)于如何使用Python判斷一個文件是否被占用的相關(guān)資料,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2020-12-12
  • Python?colorama?彩色打印實現(xiàn)代碼

    Python?colorama?彩色打印實現(xiàn)代碼

    這篇文章主要介紹了Python?colorama?彩色打印實現(xiàn)代碼,將介紹的類為Back,?它實現(xiàn)了與?Fore?類相同的九個關(guān)鍵字:BLACK、RED、GREEN、YELLOW、BLUE、MAGENTA、CYAN、WHITE、RESET,感興趣的朋友一起看看吧
    2022-04-04
  • 你們要的Python繪畫3D太陽系詳細代碼

    你們要的Python繪畫3D太陽系詳細代碼

    這篇文章主要給大家介紹了關(guān)于如何利用Python 繪畫3D太陽系,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2021-10-10
  • Pytes正確的配置使用日志功能

    Pytes正確的配置使用日志功能

    在pytest自動化測試中,如果只是簡單的從應(yīng)用的角度來說,完全可以不去了解pytest中的顯示信息的部分以及原理,可以通過使用推薦的pytest.ini配置,從而可以做到相對來說比較通用的日志配置,這篇文章主要介紹了Pytes如何正確的配置使用日志功能,需要的朋友可以參考下
    2022-12-12
  • Python一直報錯SyntaxError:invalid?syntax的解決辦法

    Python一直報錯SyntaxError:invalid?syntax的解決辦法

    SyntaxError: invalid syntax 這個報錯經(jīng)常遇見,但是總感覺自己的代碼沒有問題,根據(jù)報錯提示的行也找不到錯誤,這些情況以及解決方法都有哪些呢?這篇文章主要給大家介紹了關(guān)于Python一直報錯SyntaxError:invalid?syntax的解決辦法,需要的朋友可以參考下
    2022-09-09
  • python列表與元組詳解實例

    python列表與元組詳解實例

    python列表與元組詳解實例,本文是基于python2.x的講解,這點一定要注意。
    2013-11-11
  • python3使用logging包,如何把日志寫到系統(tǒng)的rsyslog中

    python3使用logging包,如何把日志寫到系統(tǒng)的rsyslog中

    這篇文章主要介紹了python3使用logging包,如何把日志寫到系統(tǒng)的rsyslog中的問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
    2023-09-09
  • python如何求解兩數(shù)的最大公約數(shù)

    python如何求解兩數(shù)的最大公約數(shù)

    這篇文章主要為大家詳細介紹了python如何求解兩數(shù)的最大公約數(shù),具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2018-09-09
  • python爬蟲請求頁面urllib庫詳解

    python爬蟲請求頁面urllib庫詳解

    這篇文章主要介紹了python爬蟲請求頁面urllib庫詳解,python3將urllib和urllib2模塊整合并命名為urllib模塊,urllib模塊有多個子模塊,各有不同的功能,需要的朋友可以參考下
    2023-07-07

最新評論