欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

編寫Python腳本來獲取Google搜索結(jié)果的示例

 更新時間:2015年05月04日 11:14:20   投稿:goldensun  
這篇文章主要介紹了編寫Python腳本來獲取Google搜索結(jié)果的示例,也是利用Python編寫爬蟲的一個簡單實現(xiàn),需要的朋友可以參考下

前一段時間一直在研究如何用python抓取搜索引擎結(jié)果,在實現(xiàn)的過程中遇到了很多的問題,我把我遇到的問題都記錄下來,希望以后遇到同樣問題的童鞋不要再走彎路。

1. 搜索引擎的選取

  選擇一個好的搜索引擎意味著你能夠得到更準確的搜索結(jié)果。我用過的搜索引擎有四種:Google、Bing、Baidu、Yahoo!。 作為程序員,我首選Google。但當我看見我最愛的Google返回給我的全是一堆的js代碼,根本沒我想要的搜索結(jié)果。于是我轉(zhuǎn)而投向了Bing的陣營,在用過一段時間后我發(fā)現(xiàn)Bing返回的搜索結(jié)果對于我的問題來說不太理想。正當我要絕望時,Google拯救了我。原來Google為了照顧那些禁止瀏覽器使用js的用戶,還有另外一種搜索方式,請看下面的搜索URL:

https://www.google.com.hk/search?hl=en&q=hello

  hl指定要搜索的語言,q就是你要搜索的關(guān)鍵字。 好了,感謝Google,搜索結(jié)果頁面包含我要抓取的內(nèi)容。

  PS: 網(wǎng)上很多利用python抓取Google搜索結(jié)果還是利用 https://ajax.googleapis.com/ajax/services/search/web... 的方法。需要注意的是這個方法Google已經(jīng)不再推薦使用了,見 https://developers.google.com/web-search/docs/ 。Google現(xiàn)在提供了Custom Search API, 不過API限制每天100次請求,如果需要更多則只能花錢買。

2. Python抓取并分析網(wǎng)頁

  利用Python抓取網(wǎng)頁很方便,不多說,見代碼:

def search(self, queryStr):
   queryStr = urllib2.quote(queryStr)
   url = 'https://www.google.com.hk/search?hl=en&q=%s' % queryStr
   request = urllib2.Request(url)
   response = urllib2.urlopen(request)
   html = response.read()
   results = self.extractSearchResults(html)


  第6行的 html 就是我們抓取的搜索結(jié)果頁面源碼。使用過Python的同學會發(fā)現(xiàn),Python同時提供了urllib 和 urllib2兩個模塊,都是和URL請求相關(guān)的模塊,不過提供了不同的功能,urllib只可以接收URL,而urllib2可以接受一個Request類的實例來設置URL請求的headers,這意味著你可以偽裝你的user agent 等(下面會用到)。

  現(xiàn)在我們已經(jīng)可以用Python抓取網(wǎng)頁并保存下來,接下來我們就可以從源碼頁面中抽取我們想要的搜索結(jié)果。Python提供了htmlparser模塊,不過用起來相對比較麻煩,這里推薦一個很好用的網(wǎng)頁分析包BeautifulSoup,關(guān)于BeautifulSoup的用法官網(wǎng)有詳細的介紹,這里我不再多說。

  利用上面的代碼,對于少量的查詢還比較OK,但如果要進行上千上萬次的查詢,上面的方法就不再有效了, Google會檢測你請求的來源,如果我們利用機器頻繁爬取Google的搜索結(jié)果,不多久就Google會block你的IP,并給你返回503 Error頁面。這不是我們想要的結(jié)果,于是我們還要繼續(xù)探索

  前面提到利用urllib2我們可以設置URL請求的headers,  偽裝我們的user agent。簡單的說,user agent就是客戶端瀏覽器等應用程序使用的一種特殊的網(wǎng)絡協(xié)議, 在每次瀏覽器(郵件客戶端/搜索引擎蜘蛛)進行 HTTP 請求時發(fā)送到服務器,服務器就知道了用戶是使用什么瀏覽器(郵件客戶端/搜索引擎蜘蛛)來訪問的。 有時候為了達到一些目的,我們不得不去善意的欺騙服務器告訴它我不是在用機器訪問你。

  于是,我們的代碼就成了下面這個樣子:

user_agents = ['Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20130406 Firefox/23.0', \
     'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:18.0) Gecko/20100101 Firefox/18.0', \
     'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/533+ \
     (KHTML, like Gecko) Element Browser 5.0', \
     'IBM WebExplorer /v0.94', 'Galaxy/1.0 [en] (Mac OS X 10.5.6; U; en)', \
     'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)', \
     'Opera/9.80 (Windows NT 6.0) Presto/2.12.388 Version/12.14', \
     'Mozilla/5.0 (iPad; CPU OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) \
     Version/6.0 Mobile/10A5355d Safari/8536.25', \
     'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) \
     Chrome/28.0.1468.0 Safari/537.36', \
     'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.0; Trident/5.0; TheWorld)']
 def search(self, queryStr):
   queryStr = urllib2.quote(queryStr)
   url = 'https://www.google.com.hk/search?hl=en&q=%s' % queryStr
   request = urllib2.Request(url)
   index = random.randint(0, 9)
   user_agent = user_agents[index]
   request.add_header('User-agent', user_agent)
   response = urllib2.urlopen(request)
   html = response.read()
   results = self.extractSearchResults(html)


  不要被user_agents那個list嚇到,那其實就是10個user agent 字符串,這么做是讓我們偽裝的更好一些,如果你需要更多的user agent 請看這里 UserAgentString。

17-19行表示隨機選擇一個user agent 字符串,然后用request 的add_header方法偽裝一個user agent。

  通過偽裝user agent能夠讓我們持續(xù)抓取搜索引擎結(jié)果,如果這樣還不行,那我建議在每兩次查詢間隨機休眠一段時間,這樣會影響抓取速度,但是能夠讓你更持續(xù)的抓取結(jié)果,如果你有多個IP,那抓取的速度也就上來了。

  github上有本文所有源代碼,需要的同學可從下面的網(wǎng)址下載:

https://github.com/meibenjin/GoogleSearchCrawler

相關(guān)文章

  • Python爬蟲之PhantomJS和handless的使用詳解

    Python爬蟲之PhantomJS和handless的使用詳解

    這篇文章主要介紹了Python爬蟲之PhantomJS和handless的使用詳解,PhantomJS是一個基于Webkit的headless瀏覽器,它會把網(wǎng)站加載到內(nèi)存并使用webkit來編譯解釋執(zhí)行頁面上的JavaScript代碼,由于不進行css和gui渲染、不展示圖形界面,需要的朋友可以參考下
    2023-09-09
  • 如何用Python做一個微信機器人自動拉群

    如何用Python做一個微信機器人自動拉群

    這篇文章主要介紹了如何用Python做一個微信機器人自動拉群,微當群人數(shù)達到100人后,用戶無法再通過掃描群二維碼加入,只能讓用戶先添加群內(nèi)聯(lián)系人微信,再由聯(lián)系人把用戶拉進來。這樣,聯(lián)系人員的私人微信會添加大量陌生人,給其帶來不必要的打擾,需要的朋友可以參考下
    2019-07-07
  • Python開發(fā)的HTTP庫requests詳解

    Python開發(fā)的HTTP庫requests詳解

    Requests是用Python語言編寫,基于urllib,采用Apache2 Licensed開源協(xié)議的HTTP庫。它比urllib更加方便,可以節(jié)約我們大量的工作,完全滿足HTTP測試需求。Requests的哲學是以PEP 20 的習語為中心開發(fā)的,所以它比urllib更加Pythoner。更重要的一點是它支持Python3哦!
    2017-08-08
  • Python 查看list中是否含有某元素的方法

    Python 查看list中是否含有某元素的方法

    今天小編就為大家分享一篇Python 查看list中是否含有某元素的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-06-06
  • 在Python的循環(huán)體中使用else語句的方法

    在Python的循環(huán)體中使用else語句的方法

    這篇文章主要介紹了在Python的循環(huán)體中使用else語句的方法,else語句的使用在各種語言的學習當中均為基本功、本文中主要介紹其在for循環(huán)中的應用,需要的朋友可以參考下
    2015-03-03
  • python打包pyinstall的實現(xiàn)步驟

    python打包pyinstall的實現(xiàn)步驟

    PyInstaller可將Python代碼打包成單個可執(zhí)行文件,本文主要介紹了python打包pyinstall的實現(xiàn)步驟,具有一定的參考價值,感興趣的可以了解一下
    2023-10-10
  • Python實現(xiàn)尋找回文數(shù)字過程解析

    Python實現(xiàn)尋找回文數(shù)字過程解析

    這篇文章主要介紹了Python實現(xiàn)尋找回文數(shù)字過程解析,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
    2020-06-06
  • python操作音視頻ffmpeg-python對比pyav選擇

    python操作音視頻ffmpeg-python對比pyav選擇

    這篇文章主要介紹了python操作音視頻的選擇:ffmpeg-python對比pyav,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
    2023-11-11
  • Python提示[Errno 32]Broken pipe導致線程crash錯誤解決方法

    Python提示[Errno 32]Broken pipe導致線程crash錯誤解決方法

    這篇文章主要介紹了Python提示[Errno 32]Broken pipe導致線程crash錯誤解決方法,是ThreadingHTTPServer實現(xiàn)http服務中經(jīng)常會遇到的問題,需要的朋友可以參考下
    2014-11-11
  • django 模型字段設置默認值代碼

    django 模型字段設置默認值代碼

    這篇文章主要介紹了django 模型字段設置默認值代碼,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-07-07

最新評論