python使用mitmproxy抓取瀏覽器請求的方法
最近要寫一款基于被動式的漏洞掃描器,因為被動式是將我們在瀏覽器瀏覽的時候所發(fā)出的請求進(jìn)行捕獲,然后交給掃描器進(jìn)行處理,本來打算自己寫這個代理的,但是因為考慮到需要抓取https,所以最后找到Mitmproxy這個程序。
安裝方法:
pip install mitmproxy
接下來通過一個案例程序來了解它的使用,下面是目錄結(jié)構(gòu)
sproxy
|utils
|__init__.py
|parser.py
|sproxy.py
sproxy.py代碼
#coding=utf-8 from pprint import pprint from mitmproxy import flow, proxy, controller, options from mitmproxy.proxy.server import ProxyServer from utils.parser import ResponseParser # http static resource file extension static_ext = ['js', 'css', 'ico', 'jpg', 'png', 'gif', 'jpeg', 'bmp'] # media resource files type media_types = ['image', 'video', 'audio'] # url filter url_filter = ['baidu','360','qq.com'] static_files = [ 'text/css', 'image/jpeg', 'image/gif', 'image/png', ] class WYProxy(flow.FlowMaster): def __init__(self, opts, server, state): super(WYProxy, self).__init__(opts, server, state) def run(self): try: pprint("proxy started successfully...") flow.FlowMaster.run(self) except KeyboardInterrupt: pprint("Ctrl C - stopping proxy") self.shutdown() def get_extension(self, flow): if not flow.request.path_components: return '' else: end_path = flow.request.path_components[-1:][0] split_ext = end_path.split('.') if not split_ext or len(split_ext) == 1: return '' else: return split_ext[-1:][0][:32] def capture_pass(self, flow): # filter url url = flow.request.url for i in url_filter: if i in url: return True """if content_type is media_types or static_files, then pass captrue""" extension = self.get_extension(flow) if extension in static_ext: return True # can't catch the content_type content_type = flow.response.headers.get('Content-Type', '').split(';')[:1][0] if not content_type: return False if content_type in static_files: return True http_mime_type = content_type.split('/')[:1] if http_mime_type: return True if http_mime_type[0] in media_types else False else: return False @controller.handler def request(self, f): pass @controller.handler def response(self, f): try: if not self.capture_pass(f): parser = ResponseParser(f) result = parser.parser_data() if f.request.method == "GET": print result['url'] elif f.request.method == "POST": print result['request_content'] # POST提交的參數(shù) except Exception as e: raise e @controller.handler def error(self, f): pass # print("error", f) @controller.handler def log(self, l): pass # print("log", l.msg) def start_server(proxy_port, proxy_mode): port = int(proxy_port) if proxy_port else 8090 mode = proxy_mode if proxy_mode else 'regular' if proxy_mode == 'http': mode = 'regular' opts = options.Options( listen_port=port, mode=mode, cadir="~/.mitmproxy/", ) config = proxy.ProxyConfig(opts) state = flow.State() server = ProxyServer(config) m = WYProxy(opts, server, state) m.run() if __name__ == '__main__': start_server("8090", "http")
parser.py
# from __future__ import absolute_import class ResponseParser(object): """docstring for ResponseParser""" def __init__(self, f): super(ResponseParser, self).__init__() self.flow = f def parser_data(self): result = dict() result['url'] = self.flow.request.url result['path'] = '/{}'.format('/'.join(self.flow.request.path_components)) result['host'] = self.flow.request.host result['port'] = self.flow.request.port result['scheme'] = self.flow.request.scheme result['method'] = self.flow.request.method result['status_code'] = self.flow.response.status_code result['content_length'] = int(self.flow.response.headers.get('Content-Length', 0)) result['request_header'] = self.parser_header(self.flow.request.headers) result['request_content'] = self.flow.request.content return result @staticmethod def parser_multipart(content): if isinstance(content, str): res = re.findall(r'name=\"(\w+)\"\r\n\r\n(\w+)', content) if res: return "&".join([k + '=' + v for k, v in res]) else: return "" else: return "" @staticmethod def parser_header(header): headers = {} for key, value in header.items(): headers[key] = value return headers @staticmethod def decode_response_text(content): for _ in ['UTF-8', 'GB2312', 'GBK', 'iso-8859-1', 'big5']: try: return content.decode(_) except: continue return content
參考鏈接:
https://github.com/ring04h/wyproxy
以上這篇python使用mitmproxy抓取瀏覽器請求的方法就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。
- Python抓包程序mitmproxy安裝和使用過程圖解
- Python Charles抓包配置實現(xiàn)流程圖解
- Python爬蟲谷歌Chrome F12抓包過程原理解析
- python 抓包保存為pcap文件并解析的實例
- Python如何爬取微信公眾號文章和評論(基于 Fiddler 抓包分析)
- python實現(xiàn)linux下抓包并存庫功能
- python調(diào)用tcpdump抓包過濾的方法
- 使用Python實現(xiàn)windows下的抓包與解析
- Python3爬蟲mitmproxy的安裝步驟
- Python3自定義http/https請求攔截mitmproxy腳本實例
- python代理工具mitmproxy使用指南
- python如何利用Mitmproxy抓包
相關(guān)文章
基于python實現(xiàn)MQTT發(fā)布訂閱過程原理解析
這篇文章主要介紹了基于python實現(xiàn)MQTT發(fā)布訂閱過程原理解析,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-07-07使用Flask-Login模塊實現(xiàn)用戶身份驗證和安全性
當(dāng)你想要在你的Flask應(yīng)用中實現(xiàn)用戶身份驗證和安全性時,F(xiàn)lask-Login這個擴展將會是你的最佳伙伴,它提供了一組簡單而強大的工具來處理,下面我們就來看看具體的操作方法吧2023-08-08python爬蟲selenium和phantomJs使用方法解析
這篇文章主要介紹了python爬蟲selenium和phantomJs使用方法解析,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-08-08python numpy.ndarray中如何將數(shù)據(jù)轉(zhuǎn)為int型
這篇文章主要介紹了python numpy.ndarray中如何將數(shù)據(jù)轉(zhuǎn)為int型,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2022-05-05關(guān)于ZeroMQ 三種模式python3實現(xiàn)方式
今天小編就為大家分享一篇關(guān)于ZeroMQ 三種模式python3實現(xiàn)方式,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12