當(dāng)排隊(duì)等待人數(shù)過多的時候，我們需要設(shè)置一個等待區(qū)防止秩序混亂，同時再有新來的想要排隊(duì)也可以呆在這個地方。那么在python分布式爬蟲中，消息隊(duì)列就相當(dāng)于這樣的一個區(qū)域，爬蟲要進(jìn)入這個區(qū)域找尋自己想要的資源，當(dāng)然這個是一定的次序的，不然數(shù)據(jù)獲取就會出現(xiàn)重復(fù)。就下來我們就python分布式爬蟲中的消息隊(duì)列進(jìn)行詳細(xì)解釋，小伙伴們可以進(jìn)一步了解一下。

實(shí)現(xiàn)分布式爬取的關(guān)鍵是消息隊(duì)列，這個問題以消費(fèi)端為視角更容易理解。你的爬蟲程序部署到很多臺機(jī)器上，那么他們怎么知道自己要爬什么呢？總要有一個地方存儲了他們需要爬取的url吧，這樣他們才能工作。

假設(shè)有1萬個url需要爬取，而你有100個爬蟲程序部署在10臺機(jī)器上，每臺10個爬蟲程序在運(yùn)行，一個url被分給爬蟲程序后，其他爬蟲不能再獲得這個url，不然，就重復(fù)爬取了，理解吧，分布式爬蟲的關(guān)鍵是怎么把任務(wù)分給這些爬蟲。

有些促銷活動的現(xiàn)場會進(jìn)行抽獎活動，工作人員捧著一個透明的箱子，參與活動的人從箱子的小口處把手伸進(jìn)去隨機(jī)拿出一張折疊的紙條，這種模式與消息隊(duì)列十分相似。消息隊(duì)列就好比這個抽獎的箱子，消費(fèi)端的爬蟲程序就好比參與活動的顧客，爬蟲從消息隊(duì)列里拿出一個url任務(wù)，然后進(jìn)行爬取，不同于抽獎活動時一個人只能拿一次，分布式爬蟲允許爬蟲在結(jié)束一個爬蟲任務(wù)后繼續(xù)從消息隊(duì)列里獲取任務(wù)。

使用redis的隊(duì)列做消息隊(duì)列

如果你只是簡單的寫一個分布式爬蟲，那么使用redis的隊(duì)列就可以了，它完全可以作為消息隊(duì)列來使用，下面的代碼是生產(chǎn)端的代碼示例

import redis
r = redis.Redis(host='127.0.0.1', port=6379,
        password='yourpassword', db=1)
# 生產(chǎn)10個url任務(wù)
for i in range(10):
  r.lpush('url_queue', i)

相信看完以上的代碼示例后，小伙伴們已經(jīng)學(xué)會用redis創(chuàng)造一個消息隊(duì)列，用來方便爬蟲的獲取數(shù)據(jù)。本篇是以生產(chǎn)段的角度寫的代碼

到此這篇關(guān)于python分布式爬蟲中消息隊(duì)列知識點(diǎn)詳解的文章就介紹到這了,更多相關(guān)python分布式爬蟲中的消息隊(duì)列是什么內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論