當(dāng)排隊(duì)等待人數(shù)過多的時(shí)候，我們需要設(shè)置一個(gè)等待區(qū)防止秩序混亂，同時(shí)再有新來的想要排隊(duì)也可以呆在這個(gè)地方。那么在python分布式爬蟲中，消息隊(duì)列就相當(dāng)于這樣的一個(gè)區(qū)域，爬蟲要進(jìn)入這個(gè)區(qū)域找尋自己想要的資源，當(dāng)然這個(gè)是一定的次序的，不然數(shù)據(jù)獲取就會(huì)出現(xiàn)重復(fù)。就下來我們就python分布式爬蟲中的消息隊(duì)列進(jìn)行詳細(xì)解釋，小伙伴們可以進(jìn)一步了解一下。

實(shí)現(xiàn)分布式爬取的關(guān)鍵是消息隊(duì)列，這個(gè)問題以消費(fèi)端為視角更容易理解。你的爬蟲程序部署到很多臺(tái)機(jī)器上，那么他們?cè)趺粗雷约阂朗裁茨?？總要有一個(gè)地方存儲(chǔ)了他們需要爬取的url吧，這樣他們才能工作。

假設(shè)有1萬個(gè)url需要爬取，而你有100個(gè)爬蟲程序部署在10臺(tái)機(jī)器上，每臺(tái)10個(gè)爬蟲程序在運(yùn)行，一個(gè)url被分給爬蟲程序后，其他爬蟲不能再獲得這個(gè)url，不然，就重復(fù)爬取了，理解吧，分布式爬蟲的關(guān)鍵是怎么把任務(wù)分給這些爬蟲。

有些促銷活動(dòng)的現(xiàn)場(chǎng)會(huì)進(jìn)行抽獎(jiǎng)活動(dòng)，工作人員捧著一個(gè)透明的箱子，參與活動(dòng)的人從箱子的小口處把手伸進(jìn)去隨機(jī)拿出一張折疊的紙條，這種模式與消息隊(duì)列十分相似。消息隊(duì)列就好比這個(gè)抽獎(jiǎng)的箱子，消費(fèi)端的爬蟲程序就好比參與活動(dòng)的顧客，爬蟲從消息隊(duì)列里拿出一個(gè)url任務(wù)，然后進(jìn)行爬取，不同于抽獎(jiǎng)活動(dòng)時(shí)一個(gè)人只能拿一次，分布式爬蟲允許爬蟲在結(jié)束一個(gè)爬蟲任務(wù)后繼續(xù)從消息隊(duì)列里獲取任務(wù)。

使用redis的隊(duì)列做消息隊(duì)列

如果你只是簡(jiǎn)單的寫一個(gè)分布式爬蟲，那么使用redis的隊(duì)列就可以了，它完全可以作為消息隊(duì)列來使用，下面的代碼是生產(chǎn)端的代碼示例

import redis
r = redis.Redis(host='127.0.0.1', port=6379,
        password='yourpassword', db=1)
# 生產(chǎn)10個(gè)url任務(wù)
for i in range(10):
  r.lpush('url_queue', i)

相信看完以上的代碼示例后，小伙伴們已經(jīng)學(xué)會(huì)用redis創(chuàng)造一個(gè)消息隊(duì)列，用來方便爬蟲的獲取數(shù)據(jù)。本篇是以生產(chǎn)段的角度寫的代碼

到此這篇關(guān)于python分布式爬蟲中消息隊(duì)列知識(shí)點(diǎn)詳解的文章就介紹到這了,更多相關(guān)python分布式爬蟲中的消息隊(duì)列是什么內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論