scrapy-redis源碼分析之發(fā)送POST請求詳解
1 引言
這段時間在研究美團爬蟲,用的是scrapy-redis分布式爬蟲框架,奈何scrapy-redis與scrapy框架不同,默認只發(fā)送GET請求,換句話說,不能直接發(fā)送POST請求,而美團的數(shù)據(jù)請求方式是POST,網(wǎng)上找了一圈,發(fā)現(xiàn)關(guān)于scrapy-redis發(fā)送POST的資料寥寥無幾,只能自己剛源碼了。
2 美團POST需求說明
先來說一說需求,也就是說美團POST請求形式。我們以獲取某個地理坐標下,所有店鋪類別列表請求為例。獲取所有店鋪類別列表時,我們需要構(gòu)造一個包含位置坐標經(jīng)緯度等信息的表單數(shù)據(jù),以及為了向下一層parse方法傳遞的一些必要數(shù)據(jù),即meta,然后發(fā)起一個POST請求。
url:
請求地址,即url是固定的,如下所示:
url = 'http://i.waimai.meituan.com/openh5/poi/filterconditions?_=1557367197922'
url最后面的13位數(shù)字是時間戳,實際應用時用time模塊生成一下就好了。
表單數(shù)據(jù):
form_data = { 'initialLat': '25.618626', 'initialLng': '105.644569', 'actualLat': '25.618626', 'actualLng': '105.644569', 'geoType': '2', 'wm_latitude': '25618626', 'wm_longitude': '105644569', 'wm_actual_latitude': '25618626', 'wm_actual_longitude': '105644569' }
meta數(shù)據(jù):
meta數(shù)據(jù)不是必須的,但是,如果你在發(fā)送請求時,有一些數(shù)據(jù)需要向下一層parse方法(解析爬蟲返回的response的方法)中傳遞的話,就可以構(gòu)造這一數(shù)據(jù),然后作為參數(shù)傳遞進request中。
meta = { 'lat': form_data.get('initialLat'), 'lng': form_data.get('initialLng'), 'lat2': form_data.get('wm_latitude'), 'lng2': form_data.get('wm_longitude'), 'province': '**省', 'city': '**市', 'area': '**區(qū)' }
3 源碼分析
采集店鋪類別列表時需要發(fā)送怎樣一個POST請求在上面已經(jīng)說明了,那么,在scrapy-redis框架中,這個POST該如何來發(fā)送呢?我相信,打開我這篇博文的讀者都是用過scrapy的,用scrapy發(fā)送POST肯定沒問題(重寫start_requests方法即可),但scrapy-redis不同,scrapy-redis框架只會從配置好的redis數(shù)據(jù)庫中讀取起始url,所以,在scrapy-redis中,就算重寫start_requests方法也沒用。怎么辦呢?我們看看源碼。
我們知道,scrapy-redis與scrapy的一個很大區(qū)別就是,scrapy-redis不再繼承Spider類,而是繼承RedisSpider類的,所以,RedisSpider類源碼將是我們分析的重點,我們打開RedisSpider類,看看有沒有類似于scrapy框架中的start_requests、make_requests_from_url這樣的方法。RedisSpider源碼如下:
class RedisSpider(RedisMixin, Spider): @classmethod def from_crawler(self, crawler, *args, **kwargs): obj = super(RedisSpider, self).from_crawler(crawler, *args, **kwargs) obj.setup_redis(crawler) return obj
很遺憾,在RedisSpider類中沒有找到類似start_requests、make_requests_from_url這樣的方法,而且,RedisSpider的源碼也太少了吧,不過,從第一行我們可以發(fā)現(xiàn)RedisSpider繼承了RedisMinxin這個類,所以我猜RedisSpider的很多功能是從父類繼承而來的(拼爹的RedisSpider)。繼續(xù)查看RedisMinxin類源碼。RedisMinxin類源碼太多,這里就不將所有源碼貼出來了,不過,驚喜的是,在RedisMinxin中,真找到了類似于start_requests、make_requests_from_url這樣的方法,如:start_requests、next_requests、make_request_from_data等。有過scrapy使用經(jīng)驗的童鞋應該都知道,start_requests方法可以說是構(gòu)造一切請求的起源,沒分析scrapy-redis源碼之前,誰也不知道scrapy-redis是不是和scrapy一樣(后面打斷點的方式驗證過,確實一樣,話說這個驗證有點多余,因為源碼注釋就是這么說的),不過,還是從start_requests開始分析吧。start_requests源碼如下:
def start_requests(self): return self.next_requests()
呵,真簡潔,直接把所有任務丟給next_requests方法,繼續(xù):
def next_requests(self): """Returns a request to be scheduled or none.""" use_set = self.settings.getbool('REDIS_START_URLS_AS_SET', defaults.START_URLS_AS_SET) fetch_one = self.server.spop if use_set else self.server.lpop # XXX: Do we need to use a timeout here? found = 0 # TODO: Use redis pipeline execution. while found < self.redis_batch_size: # 每次讀取的量 data = fetch_one(self.redis_key) # 從redis中讀取一條記錄 if not data: # Queue empty. break req = self.make_request_from_data(data) # 根據(jù)從redis中讀取的記錄,實例化一個request if req: yield req found += 1 else: self.logger.debug("Request not made from data: %r", data) if found: self.logger.debug("Read %s requests from '%s'", found, self.redis_key)
上面next_requests方法中,關(guān)鍵的就是那個while循環(huán),每一次循環(huán)都調(diào)用了一個make_request_from_data方法,從函數(shù)名可以函數(shù),這個方法就是根據(jù)從redis中讀取從來的數(shù)據(jù),實例化一個request,那不就是我們要找的方法嗎?進入make_request_from_data方法一探究竟:
def make_request_from_data(self, data): url = bytes_to_str(data, self.redis_encoding) return self.make_requests_from_url(url) # 這是重點,圈起來,要考
因為scrapy-redis默認值發(fā)送GET請求,所以,在這個make_request_from_data方法中認為data只包含一個url,但如果我們要發(fā)送POST請求,這個data包含的東西可就多了,我們上面美團POST請求說明中就說到,至少要包含url、form_data。所以,如果我們要發(fā)送POST請求,這里必須改,make_request_from_data方法最后調(diào)用的make_requests_from_url是scrapy中的Spider中的方法,不過,我們也不需要繼續(xù)往下看下去了,我想諸位都也清楚了,要發(fā)送POST請求,重寫這個make_request_from_data方法,根據(jù)傳入的data,實例化一個request返回就好了。
4 代碼實例
明白上面這些東西后,就可以開始寫代碼了。修改源碼嗎?不,不存在的,改源碼可不是好習慣。我們直接在我們自己的Spider類中重寫make_request_from_data方法就好了:
from scrapy import FormRequest from scrapy_redis.spiders import RedisSpider class MeituanSpider(RedisSpider): """ 此處省略若干行 """ def make_request_from_data(self, data): """ 重寫make_request_from_data方法,data是scrapy-redis讀取redis中的[url,form_data,meta],然后發(fā)送post請求 :param data: redis中都去的請求數(shù)據(jù),是一個list :return: 一個FormRequest對象 """ data = json.loads(data) url = data.get('url') form_data = data.get('form_data') meta = data.get('meta') return FormRequest(url=url, formdata=form_data, meta=meta, callback=self.parse) def parse(self, response): pass
搞清楚原理之后,就是這么簡單。萬事俱備,只欠東風——將url,form_data,meta存儲到redis中。另外新建一個模塊實現(xiàn)這一部分功能:
def push_start_url_data(request_data): """ 將一個完整的request_data推送到redis的start_url列表中 :param request_data: {'url':url, 'form_data':form_data, 'meta':meta} :return: """ r.lpush('meituan:start_urls', request_data) if __name__ == '__main__': url = 'http://i.waimai.meituan.com/openh5/poi/filterconditions?_=1557367197922' form_data = { 'initialLat': '25.618626', 'initialLng': '105.644569', 'actualLat': '25.618626', 'actualLng': '105.644569', 'geoType': '2', 'wm_latitude': '25618626', 'wm_longitude': '105644569', 'wm_actual_latitude': '25618626', 'wm_actual_longitude': '105644569' } meta = { 'lat': form_data.get('initialLat'), 'lng': form_data.get('initialLng'), 'lat2': form_data.get('wm_latitude'), 'lng2': form_data.get('wm_longitude'), 'province': '**省', 'city': '*市', 'area': '**區(qū)' } request_data = { 'url': url, 'form_data': form_data, 'meta': meta } push_start_url_data(json.dumps(request_data))
在啟動scrapy-redis之前,運行一下這一模塊即可。如果有很多POI(地理位置興趣點),循環(huán)遍歷每一個POI,生成request_data,push到redis中。這一循環(huán)功能就你自己寫吧。
5 總結(jié)
沒有什么是擼一遍源碼解決不了的,如果有,就再擼一遍!
好了,以上就是這篇文章的全部內(nèi)容了,希望本文的內(nèi)容對大家的學習或者工作具有一定的參考學習價值,謝謝大家對腳本之家的支持。
相關(guān)文章
windows下wxPython開發(fā)環(huán)境安裝與配置方法
這篇文章主要介紹了windows下wxPython開發(fā)環(huán)境安裝與配置方法,需要的朋友可以參考下2014-06-06解決pytorch load huge dataset(大數(shù)據(jù)加載)
這篇文章主要介紹了解決pytorch load huge dataset(大數(shù)據(jù)加載)的問題,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2021-05-05Python?SQLAlchemy建立模型基礎(chǔ)關(guān)系模式過程詳解
SQLAlchemy是Python編程語言下的一款開源軟件。提供了SQL工具包及對象關(guān)系映射(ORM)工具,使用MIT許可證發(fā)行。SQLAlchemy“采用簡單的Python語言,為高效和高性能的數(shù)據(jù)庫訪問設(shè)計,實現(xiàn)了完整的企業(yè)級持久模型”。SQL數(shù)據(jù)庫的量級和性能重要于對象集合2022-12-12使用XML庫的方式,實現(xiàn)RPC通信的方法(推薦)
下面小編就為大家?guī)硪黄褂肵ML庫的方式,實現(xiàn)RPC通信的方法(推薦)。小編覺得挺不錯的,現(xiàn)在就分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2017-06-06python實現(xiàn)列表中由數(shù)值查到索引的方法
今天小編就為大家分享一篇python實現(xiàn)列表中由數(shù)值查到索引的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-06-06