mechanize是對(duì)urllib2的部分功能的替換，能夠更好的模擬瀏覽器行為，在web訪問(wèn)控制方面做得更全面。結(jié)合beautifulsoup和re模塊，可以有效的解析web頁(yè)面，我比較喜歡這種方法。
    下面主要總結(jié)了使用mechanize模擬瀏覽器的行為和幾個(gè)例子（谷歌搜索，百度搜索和人人網(wǎng)登錄等）
1.初始化并建立一個(gè)瀏覽器對(duì)象
    如果沒(méi)有mechanize需要easy_install安裝，以下代碼建立瀏覽器對(duì)象并作了一些初始化設(shè)置，實(shí)際使用過(guò)程可以按需開關(guān)。其實(shí)只用默認(rèn)的設(shè)置也可以完成基本任務(wù)。

#!/usr/bin/env python
import sys,mechanize

#Browser
br = mechanize.Browser()

#options
br.set_handle_equiv(True)
br.set_handle_gzip(True)
br.set_handle_redirect(True)
br.set_handle_referer(True)
br.set_handle_robots(False)

#Follows refresh 0 but not hangs on refresh > 0
br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1)

#debugging?
br.set_debug_http(True)
br.set_debug_redirects(True)
br.set_debug_responses(True)

#User-Agent (this is cheating, ok?)
br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]

2.模擬瀏覽器行為
    瀏覽器對(duì)象建立并初始化完畢之后即可使用了，下面給出幾個(gè)例子（代碼承接以上部分）
獲取web網(wǎng)頁(yè)：
    分行打印可以逐個(gè)查看詳細(xì)信息，就不贅述

r = br.open(sys.argv[1])
html = r.read()
print html
print br.response().read()
print br.title()
print r.info()

模擬谷歌和百度查詢
    打印和選擇forms，然后填寫相應(yīng)鍵值，通過(guò)post提交完成操作

for f in br.forms():
 print f

br.select_form(nr=0)

    谷歌查詢football

br.form['q'] = 'football'
br.submit()
print br.response().read()

    百度查詢football

br.form['wd'] = 'football'
br.submit()
print br.response().read()

  
    相應(yīng)鍵值名，可以通過(guò)打印查出

回退（Back）
    非常簡(jiǎn)單的操作，打印url即可驗(yàn)證是否回退

# Back
br.back()
print br.geturl()

3.http基本認(rèn)證

br.add_password('http://xxx.com', 'username', 'password')
br.open('http://xxx.com')

4.form認(rèn)證
    以登陸人人網(wǎng)為例，打印forms可以查出用戶名和密碼鍵信息

br.select_form(nr = 0)
br['email'] = username
br['password'] = password
resp = self.br.submit()

5.cookie支持
    通過(guò)導(dǎo)入cookielib模塊，并設(shè)置瀏覽器cookie，可以在需要認(rèn)證的網(wǎng)絡(luò)行為之后不用重復(fù)認(rèn)證登陸。通過(guò)保存session cookie即可重新訪問(wèn)，Cookie Jar完成了該功能。

#!/usr/bin/env python
import mechanize, cookielib

br = mechanize.Browser()
cj = cookielib.LWPCookieJar()
br.set_cookiejar()

6.proxy設(shè)置
設(shè)置http代理

#Proxy
br.set_proxies({"http":"proxy.com:8888"})
br.add_proxy_password("username", "password")

#Proxy and usrer/password
br.set_proxies({"http":"username:password@proxy.com:8888"})

7.關(guān)于內(nèi)存過(guò)高問(wèn)題

在用mechanize寫了一個(gè)爬蟲腳本，想要去某網(wǎng)站爬取大概30萬(wàn)張圖片。
 
整個(gè)過(guò)程是：
1、獲取目標(biāo)頁(yè)面地址
2、取得目標(biāo)地址前幾頁(yè)的所有圖片url
3、對(duì)這些url進(jìn)行下載，并把索引數(shù)據(jù)保存到mysql數(shù)據(jù)庫(kù)。

這個(gè)腳本大概每秒鐘完成一張圖片的下載(主要是網(wǎng)絡(luò)只有200K/S左右，是瓶頸)
當(dāng)圖片下載到大約15000張左右的時(shí)候，發(fā)現(xiàn)越來(lái)越慢，最后干脆停下了。
用ps aux查看，發(fā)現(xiàn)進(jìn)程sleep了，感覺(jué)很奇怪。
free看一下，內(nèi)存竟然只剩下100M了（系統(tǒng)總內(nèi)存4GB）
在網(wǎng)上瞎逛了一下，發(fā)現(xiàn)原來(lái)mechanize默認(rèn)會(huì)保存模擬過(guò)的操作歷史，導(dǎo)致占用的內(nèi)存越來(lái)越大：
http://stackoverflow.com/questions/2393299/how-do-i-disable-history-in-python-mechanize-module
 
為了方便，大約翻譯一下：
mechanize初始化Browser()的時(shí)候，如果你不給他傳一個(gè)history對(duì)象作為參數(shù)，Browser()就會(huì)按照默認(rèn)的方式（允許保存操作歷史）來(lái)進(jìn)行初始化，你可以隨便傳個(gè)什么history給它即可，如自定義一個(gè)NoHistory對(duì)象：
 

class NoHistory(object): 
 def add(self, *a, **k): pass 
 def clear(self): pass 
 
b = mechanize.Browser(history=NoHistory()) 

最新評(píng)論