快捷導(dǎo)航

爬蟲小技巧利用Mitmproxy破解app

更新時間：2021年09月23日 09:01:58 作者：哆啦安全

不同于Fiddler或Wireshark等抓包工具，mitmproxy不僅可以截獲請求幫助開發(fā)者查看、分析，還可以通過自定義腳本進行二次開發(fā)

mitmproxy就是用于MITM的proxy，MITM即中間人攻擊（Man-in-the-middle attack）。用于中間人攻擊的代理首先會向正常的代理一樣轉(zhuǎn)發(fā)請求，保障服務(wù)端與客戶端的通信，其次會實時查、記錄其截獲的數(shù)據(jù)或篡改數(shù)據(jù)，引發(fā)服務(wù)端或客戶端特定的行為。

利用Fiddler可以過濾出瀏覽器對某個特定URL的請求，并查看、分析其數(shù)據(jù)，
但實現(xiàn)不了高度定制化的需求，類似于：“截獲對瀏覽器對該URL的請求，將返回內(nèi)容置空，并將真實的返回內(nèi)容存到某個數(shù)據(jù)庫，出現(xiàn)異常時發(fā)出郵件通知”。而對于mitmproxy，這樣的需求可以通過載入自定義python腳本輕松實現(xiàn)。

但mitmproxy并不會真的對無辜的人發(fā)起中間人攻擊，由于mitmproxy工作在HTTP層，而當前HTTPS的普及讓客戶端擁有了檢測并規(guī)避中間人攻擊的能力，所以要讓mitmproxy 能夠正常工作，必須要讓客戶端（APP 或瀏覽器）主動信任 mitmproxy 的SSL證書，或忽略證書異常，這也就意味著APP或瀏覽器是屬于開發(fā)者本人的——顯而易見，這不是在做黑產(chǎn)，而是在做開發(fā)或測試。

目前比較廣泛的應(yīng)用是做仿真爬蟲，即利用手機模擬器、無頭瀏覽器來爬取APP或網(wǎng)站的數(shù)據(jù)，mitmproxy作為代理可以攔截、存儲爬蟲獲取到的數(shù)據(jù)，或修改數(shù)據(jù)調(diào)整爬蟲的行為。

(1)安裝Python2、Python3環(huán)境

(2)App爬蟲神器mitmproxy

Mac/Windows環(huán)境安裝mitmproxy

python3
pip3 install mitmproxy
或者
python2
pip install mitmproxy

(3)按鍵精靈

(4)強制抓包工具postern

https://github.com/postern-overwal/postern-stuff

啟動mitmproxy

要啟動mitmproxy用mitmproxy、mitmdump、mitmweb這三個命令中的任意一個即可，這三個命令功能一致，且都可以加載自定義腳本，唯一的區(qū)別是交互界面的不同。
mitmproxy命令啟動后，會提供一個命令行界面，用戶可以實時看到發(fā)生的請求，并通過命令過濾請求，查看請求數(shù)據(jù)