欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python使用scrapy采集時(shí)偽裝成HTTP/1.1的方法

 更新時(shí)間:2015年04月08日 10:18:35   作者:pythoner  
這篇文章主要介紹了Python使用scrapy采集時(shí)偽裝成HTTP/1.1的方法,實(shí)例分析了scrapy采集的使用技巧,非常具有實(shí)用價(jià)值,需要的朋友可以參考下

本文實(shí)例講述了Python使用scrapy采集時(shí)偽裝成HTTP/1.1的方法。分享給大家供大家參考。具體如下:

添加下面的代碼到 settings.py 文件

復(fù)制代碼 代碼如下:
DOWNLOADER_HTTPCLIENTFACTORY = 'myproject.downloader.HTTPClientFactory'

保存以下代碼到單獨(dú)的.py文件
復(fù)制代碼 代碼如下:
from scrapy.core.downloader.webclient import ScrapyHTTPClientFactory, ScrapyHTTPPageGetter
class PageGetter(ScrapyHTTPPageGetter):
    def sendCommand(self, command, path):
        self.transport.write('%s %s HTTP/1.1\r\n' % (command, path))
class HTTPClientFactory(ScrapyHTTPClientFactory):
     protocol = PageGetter

希望本文所述對(duì)大家的Python程序設(shè)計(jì)有所幫助。

相關(guān)文章

  • python多線程共享變量的使用和效率方法

    python多線程共享變量的使用和效率方法

    今天小編就為大家分享一篇python多線程共享變量的使用和效率方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2019-07-07
  • Python數(shù)據(jù)可視化JupyterNotebook繪圖生成高清圖片

    Python數(shù)據(jù)可視化JupyterNotebook繪圖生成高清圖片

    這篇文章主要為大家介紹了Python數(shù)據(jù)可視化中如何利用Jupyter Notebook繪圖生成高清圖片,有需要的朋友可以借鑒參考下,希望能夠有所幫助
    2021-09-09
  • Python: 傳遞列表副本方式

    Python: 傳遞列表副本方式

    今天小編就為大家分享一篇Python: 傳遞列表副本方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2019-12-12
  • 調(diào)試Python程序代碼的幾種方法總結(jié)

    調(diào)試Python程序代碼的幾種方法總結(jié)

    這篇文章主要介紹了調(diào)試Python程序代碼的幾種方法總結(jié),文中代碼基于Python2.x版本,需要的朋友可以參考下
    2015-04-04
  • python獲取目錄下所有文件的方法

    python獲取目錄下所有文件的方法

    這篇文章主要介紹了python獲取目錄下所有文件的方法,實(shí)例分析了Python中os模塊下walk方法的使用技巧,需要的朋友可以參考下
    2015-06-06
  • python文件處理筆記之文本文件

    python文件處理筆記之文本文件

    相信大家在測(cè)試任務(wù)過(guò)程中都或多或少遇到自己處理文本文件的情況,這篇文章主要給大家介紹了關(guān)于python文件處理筆記之文本文件的相關(guān)資料,文中通過(guò)示例代碼介紹的非常詳細(xì),需要的朋友可以參考下
    2021-08-08
  • Python生成詞云的實(shí)現(xiàn)代碼

    Python生成詞云的實(shí)現(xiàn)代碼

    這篇文章主要介紹了Python生成詞云,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2020-01-01
  • 淺談Python的list中的選取范圍

    淺談Python的list中的選取范圍

    今天小編就為大家分享一篇淺談Python的list中的選取范圍,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2018-11-11
  • 關(guān)于ZeroMQ 三種模式python3實(shí)現(xiàn)方式

    關(guān)于ZeroMQ 三種模式python3實(shí)現(xiàn)方式

    今天小編就為大家分享一篇關(guān)于ZeroMQ 三種模式python3實(shí)現(xiàn)方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2019-12-12
  • Python中WatchDog的使用經(jīng)驗(yàn)總結(jié)

    Python中WatchDog的使用經(jīng)驗(yàn)總結(jié)

    在?python?中文件監(jiān)視主要有兩個(gè)庫(kù),一個(gè)是?pyinotify,一個(gè)是?watchdog,本文主要為大家詳細(xì)介紹一下Python中WatchDog的使用相關(guān)經(jīng)驗(yàn),感興趣的小伙伴可以了解下
    2023-12-12

最新評(píng)論