欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

scrapy-redis源碼分析之發(fā)送POST請(qǐng)求詳解

 更新時(shí)間:2019年05月15日 11:15:45   作者:奧辰  
這篇文章主要給大家介紹了關(guān)于scrapy-redis源碼分析之發(fā)送POST請(qǐng)求的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家學(xué)習(xí)或者使用scrapy-redis具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧

1 引言

這段時(shí)間在研究美團(tuán)爬蟲,用的是scrapy-redis分布式爬蟲框架,奈何scrapy-redis與scrapy框架不同,默認(rèn)只發(fā)送GET請(qǐng)求,換句話說,不能直接發(fā)送POST請(qǐng)求,而美團(tuán)的數(shù)據(jù)請(qǐng)求方式是POST,網(wǎng)上找了一圈,發(fā)現(xiàn)關(guān)于scrapy-redis發(fā)送POST的資料寥寥無(wú)幾,只能自己剛源碼了。

2 美團(tuán)POST需求說明

先來(lái)說一說需求,也就是說美團(tuán)POST請(qǐng)求形式。我們以獲取某個(gè)地理坐標(biāo)下,所有店鋪類別列表請(qǐng)求為例。獲取所有店鋪類別列表時(shí),我們需要構(gòu)造一個(gè)包含位置坐標(biāo)經(jīng)緯度等信息的表單數(shù)據(jù),以及為了向下一層parse方法傳遞的一些必要數(shù)據(jù),即meta,然后發(fā)起一個(gè)POST請(qǐng)求。

url:

請(qǐng)求地址,即url是固定的,如下所示:

url = 'http://i.waimai.meituan.com/openh5/poi/filterconditions?_=1557367197922'

url最后面的13位數(shù)字是時(shí)間戳,實(shí)際應(yīng)用時(shí)用time模塊生成一下就好了。

表單數(shù)據(jù):

form_data = {
 'initialLat': '25.618626',
 'initialLng': '105.644569',
 'actualLat': '25.618626',
 'actualLng': '105.644569',
 'geoType': '2',
 'wm_latitude': '25618626',
 'wm_longitude': '105644569',
 'wm_actual_latitude': '25618626',
 'wm_actual_longitude': '105644569'
}

meta數(shù)據(jù):

meta數(shù)據(jù)不是必須的,但是,如果你在發(fā)送請(qǐng)求時(shí),有一些數(shù)據(jù)需要向下一層parse方法(解析爬蟲返回的response的方法)中傳遞的話,就可以構(gòu)造這一數(shù)據(jù),然后作為參數(shù)傳遞進(jìn)request中。

meta = {
 'lat': form_data.get('initialLat'),
 'lng': form_data.get('initialLng'),
 'lat2': form_data.get('wm_latitude'),
 'lng2': form_data.get('wm_longitude'),
 'province': '**省',
 'city': '**市',
 'area': '**區(qū)'
}

3 源碼分析

采集店鋪類別列表時(shí)需要發(fā)送怎樣一個(gè)POST請(qǐng)求在上面已經(jīng)說明了,那么,在scrapy-redis框架中,這個(gè)POST該如何來(lái)發(fā)送呢?我相信,打開我這篇博文的讀者都是用過scrapy的,用scrapy發(fā)送POST肯定沒問題(重寫start_requests方法即可),但scrapy-redis不同,scrapy-redis框架只會(huì)從配置好的redis數(shù)據(jù)庫(kù)中讀取起始url,所以,在scrapy-redis中,就算重寫start_requests方法也沒用。怎么辦呢?我們看看源碼。

我們知道,scrapy-redis與scrapy的一個(gè)很大區(qū)別就是,scrapy-redis不再繼承Spider類,而是繼承RedisSpider類的,所以,RedisSpider類源碼將是我們分析的重點(diǎn),我們打開RedisSpider類,看看有沒有類似于scrapy框架中的start_requests、make_requests_from_url這樣的方法。RedisSpider源碼如下:

class RedisSpider(RedisMixin, Spider):
 @classmethod
 def from_crawler(self, crawler, *args, **kwargs):
 obj = super(RedisSpider, self).from_crawler(crawler, *args, **kwargs)
 obj.setup_redis(crawler)
 return obj 

很遺憾,在RedisSpider類中沒有找到類似start_requests、make_requests_from_url這樣的方法,而且,RedisSpider的源碼也太少了吧,不過,從第一行我們可以發(fā)現(xiàn)RedisSpider繼承了RedisMinxin這個(gè)類,所以我猜RedisSpider的很多功能是從父類繼承而來(lái)的(拼爹的RedisSpider)。繼續(xù)查看RedisMinxin類源碼。RedisMinxin類源碼太多,這里就不將所有源碼貼出來(lái)了,不過,驚喜的是,在RedisMinxin中,真找到了類似于start_requests、make_requests_from_url這樣的方法,如:start_requests、next_requests、make_request_from_data等。有過scrapy使用經(jīng)驗(yàn)的童鞋應(yīng)該都知道,start_requests方法可以說是構(gòu)造一切請(qǐng)求的起源,沒分析scrapy-redis源碼之前,誰(shuí)也不知道scrapy-redis是不是和scrapy一樣(后面打斷點(diǎn)的方式驗(yàn)證過,確實(shí)一樣,話說這個(gè)驗(yàn)證有點(diǎn)多余,因?yàn)樵创a注釋就是這么說的),不過,還是從start_requests開始分析吧。start_requests源碼如下:

def start_requests(self):
 return self.next_requests()

呵,真簡(jiǎn)潔,直接把所有任務(wù)丟給next_requests方法,繼續(xù):

def next_requests(self):
 """Returns a request to be scheduled or none."""
 use_set = self.settings.getbool('REDIS_START_URLS_AS_SET',    defaults.START_URLS_AS_SET)
 fetch_one = self.server.spop if use_set else self.server.lpop
 # XXX: Do we need to use a timeout here?
 found = 0
 # TODO: Use redis pipeline execution.
 while found < self.redis_batch_size: # 每次讀取的量
  data = fetch_one(self.redis_key) # 從redis中讀取一條記錄
  if not data:
   # Queue empty.
   break
  req = self.make_request_from_data(data) # 根據(jù)從redis中讀取的記錄,實(shí)例化一個(gè)request
  if req:
   yield req
  found += 1
  else:
   self.logger.debug("Request not made from data: %r", data)
 
 if found:
  self.logger.debug("Read %s requests from '%s'", found, self.redis_key)

上面next_requests方法中,關(guān)鍵的就是那個(gè)while循環(huán),每一次循環(huán)都調(diào)用了一個(gè)make_request_from_data方法,從函數(shù)名可以函數(shù),這個(gè)方法就是根據(jù)從redis中讀取從來(lái)的數(shù)據(jù),實(shí)例化一個(gè)request,那不就是我們要找的方法嗎?進(jìn)入make_request_from_data方法一探究竟:

def make_request_from_data(self, data):
 url = bytes_to_str(data, self.redis_encoding)
 return self.make_requests_from_url(url) # 這是重點(diǎn),圈起來(lái),要考

因?yàn)閟crapy-redis默認(rèn)值發(fā)送GET請(qǐng)求,所以,在這個(gè)make_request_from_data方法中認(rèn)為data只包含一個(gè)url,但如果我們要發(fā)送POST請(qǐng)求,這個(gè)data包含的東西可就多了,我們上面美團(tuán)POST請(qǐng)求說明中就說到,至少要包含url、form_data。所以,如果我們要發(fā)送POST請(qǐng)求,這里必須改,make_request_from_data方法最后調(diào)用的make_requests_from_url是scrapy中的Spider中的方法,不過,我們也不需要繼續(xù)往下看下去了,我想諸位都也清楚了,要發(fā)送POST請(qǐng)求,重寫這個(gè)make_request_from_data方法,根據(jù)傳入的data,實(shí)例化一個(gè)request返回就好了。

 4 代碼實(shí)例

明白上面這些東西后,就可以開始寫代碼了。修改源碼嗎?不,不存在的,改源碼可不是好習(xí)慣。我們直接在我們自己的Spider類中重寫make_request_from_data方法就好了:

from scrapy import FormRequest
from scrapy_redis.spiders import RedisSpider
 
 
class MeituanSpider(RedisSpider):
 """
 此處省略若干行
 """
 
 def make_request_from_data(self, data):
  """
  重寫make_request_from_data方法,data是scrapy-redis讀取redis中的[url,form_data,meta],然后發(fā)送post請(qǐng)求
  :param data: redis中都去的請(qǐng)求數(shù)據(jù),是一個(gè)list
  :return: 一個(gè)FormRequest對(duì)象
   """
  data = json.loads(data)
  url = data.get('url')
  form_data = data.get('form_data')
  meta = data.get('meta')
  return FormRequest(url=url, formdata=form_data, meta=meta, callback=self.parse)

 def parse(self, response):
  pass

搞清楚原理之后,就是這么簡(jiǎn)單。萬(wàn)事俱備,只欠東風(fēng)——將url,form_data,meta存儲(chǔ)到redis中。另外新建一個(gè)模塊實(shí)現(xiàn)這一部分功能:

def push_start_url_data(request_data):
 """
 將一個(gè)完整的request_data推送到redis的start_url列表中
 :param request_data: {'url':url, 'form_data':form_data, 'meta':meta}
 :return:
 """
 r.lpush('meituan:start_urls', request_data)
 
 
if __name__ == '__main__':
 url = 'http://i.waimai.meituan.com/openh5/poi/filterconditions?_=1557367197922'
 form_data = {
  'initialLat': '25.618626',
  'initialLng': '105.644569',
  'actualLat': '25.618626',
  'actualLng': '105.644569',
  'geoType': '2',
  'wm_latitude': '25618626',
  'wm_longitude': '105644569',
  'wm_actual_latitude': '25618626',
  'wm_actual_longitude': '105644569'
 }
 meta = {
  'lat': form_data.get('initialLat'),
  'lng': form_data.get('initialLng'),
  'lat2': form_data.get('wm_latitude'),
  'lng2': form_data.get('wm_longitude'),
  'province': '**省',
  'city': '*市',
  'area': '**區(qū)'
 }
 request_data = {
  'url': url,
  'form_data': form_data,
  'meta': meta
 }
 push_start_url_data(json.dumps(request_data))

在啟動(dòng)scrapy-redis之前,運(yùn)行一下這一模塊即可。如果有很多POI(地理位置興趣點(diǎn)),循環(huán)遍歷每一個(gè)POI,生成request_data,push到redis中。這一循環(huán)功能就你自己寫吧。

5 總結(jié)

沒有什么是擼一遍源碼解決不了的,如果有,就再擼一遍!

好了,以上就是這篇文章的全部?jī)?nèi)容了,希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,謝謝大家對(duì)腳本之家的支持。

相關(guān)文章

  • Django框架下在URLconf中指定視圖緩存的方法

    Django框架下在URLconf中指定視圖緩存的方法

    這篇文章主要介紹了Django框架下在URLconf中指定視圖緩存的方法,在Python豐富多彩的web框架中,Django是最具人氣的一個(gè),需要的朋友可以參考下
    2015-07-07
  • windows下wxPython開發(fā)環(huán)境安裝與配置方法

    windows下wxPython開發(fā)環(huán)境安裝與配置方法

    這篇文章主要介紹了windows下wxPython開發(fā)環(huán)境安裝與配置方法,需要的朋友可以參考下
    2014-06-06
  • Python中使用item()方法遍歷字典的例子

    Python中使用item()方法遍歷字典的例子

    這篇文章主要介紹了Python中使用item()方法遍歷字典的例子,for...in這種是Python中最常用的遍歷字典的方法了,需要的朋友可以參考下
    2014-08-08
  • 解決pytorch load huge dataset(大數(shù)據(jù)加載)

    解決pytorch load huge dataset(大數(shù)據(jù)加載)

    這篇文章主要介紹了解決pytorch load huge dataset(大數(shù)據(jù)加載)的問題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2021-05-05
  • Python編程使用PyQt5制作動(dòng)態(tài)鐘表示例

    Python編程使用PyQt5制作動(dòng)態(tài)鐘表示例

    本篇文章將用 Python 同時(shí)繪制兩種類型的表;一個(gè)是上面提到的含有時(shí)、分、秒針的鐘表(為了方便,下面統(tǒng)稱為老式鐘表),一個(gè)是電子表,最終運(yùn)行效果文中如下呈現(xiàn)
    2021-10-10
  • Python?SQLAlchemy建立模型基礎(chǔ)關(guān)系模式過程詳解

    Python?SQLAlchemy建立模型基礎(chǔ)關(guān)系模式過程詳解

    SQLAlchemy是Python編程語(yǔ)言下的一款開源軟件。提供了SQL工具包及對(duì)象關(guān)系映射(ORM)工具,使用MIT許可證發(fā)行。SQLAlchemy“采用簡(jiǎn)單的Python語(yǔ)言,為高效和高性能的數(shù)據(jù)庫(kù)訪問設(shè)計(jì),實(shí)現(xiàn)了完整的企業(yè)級(jí)持久模型”。SQL數(shù)據(jù)庫(kù)的量級(jí)和性能重要于對(duì)象集合
    2022-12-12
  • Python實(shí)現(xiàn)微信小程序自動(dòng)操作工具

    Python實(shí)現(xiàn)微信小程序自動(dòng)操作工具

    這篇文章主要為大家詳細(xì)介紹了如何利用Python實(shí)現(xiàn)微信小程序自動(dòng)化操作的小工具,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以了解一下
    2023-01-01
  • 使用XML庫(kù)的方式,實(shí)現(xiàn)RPC通信的方法(推薦)

    使用XML庫(kù)的方式,實(shí)現(xiàn)RPC通信的方法(推薦)

    下面小編就為大家?guī)?lái)一篇使用XML庫(kù)的方式,實(shí)現(xiàn)RPC通信的方法(推薦)。小編覺得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過來(lái)看看吧
    2017-06-06
  • Python全局變量與局部變量區(qū)別及用法分析

    Python全局變量與局部變量區(qū)別及用法分析

    這篇文章主要介紹了Python全局變量與局部變量區(qū)別及用法,結(jié)合實(shí)例形式分析了Python全局變量與局部變量的定義、常見用法、區(qū)別及相關(guān)操作注意事項(xiàng),需要的朋友可以參考下
    2018-09-09
  • python實(shí)現(xiàn)列表中由數(shù)值查到索引的方法

    python實(shí)現(xiàn)列表中由數(shù)值查到索引的方法

    今天小編就為大家分享一篇python實(shí)現(xiàn)列表中由數(shù)值查到索引的方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來(lái)看看吧
    2018-06-06

最新評(píng)論