淺析Python requests 模塊
Python requests 模塊
requests 模塊是我們使用的 python爬蟲 模塊 可以完成市場進80%的爬蟲需求。
安裝
pip install requests
使用
requests模塊代碼編寫的流程:
- - 指定url
- - 發(fā)起請求
- - 獲取響應對象中的數(shù)據(jù)
- - 持久化存儲
-------------案例------------------------- import requests # 指定url url="https://www.sogou.com/" # 發(fā)起請求 response = requests.get(url) # 獲取響應對象中的數(shù)據(jù) page_text = response.text # 持久化存儲 with open('./sogou.html','w',encoding='utf-8') as fp: fp.write() -------------------------------------------
參數(shù)
# post 數(shù)據(jù) response = requests.post(url=url,data=data,headers=headers) # get 數(shù)據(jù) response = requests.get(url=url,data=data,headers=headers) # 返回二進制數(shù)據(jù) response.content # 返回字符串數(shù)據(jù) response.text # 返回json對象 response.json()
其他了解
1、該模塊實現(xiàn)爬取數(shù)據(jù)前需要查找需要爬取數(shù)據(jù)的指定URL,可通過瀏覽器自帶抓包功能。
# 瀏覽器抓取 Ajax 請求 F12 --> Network --> XHR --> Name --> Response
2、上面的headers參數(shù)是進行UA偽裝為了反反爬
反爬機制:UA檢測 --> UA偽裝
3、下面是http我們爬包是常用的請求頭參數(shù)
- accept: 瀏覽器通過這個頭告訴服務器,他所支持的數(shù)據(jù)類型 - Accept-Charset:瀏覽器通過這個頭告訴服務器,它支持那種字符集 - Accept-Encoding:瀏覽器通過這個頭告訴服務器,支持的壓縮格式 - Accept-Language:瀏覽器通過這個頭告訴服務器,他的語言環(huán)境 - Host:瀏覽器同過這個頭告訴服務器,想訪問哪臺主機 - If-ModifiedSince:瀏覽器通過這個頭告訴服務器,緩存數(shù)據(jù)的時間 - Heferer:瀏覽器通過這個頭告訴服務器,客戶及時那個頁面來的,防盜鏈 - Connection:瀏覽器通過這個頭告訴服務器,請求完后是斷開鏈接還是保持鏈接 - X-Requested-With:XMLHttpRequest 代表通過ajax方式進行訪問 - User-Agent:請求載體的身份標識
以上就是淺析Python requests 模塊的詳細內(nèi)容,更多關于Python requests 模塊的資料請關注腳本之家其它相關文章!
- Python使用requests模塊爬取百度翻譯
- Python grequests模塊使用場景及代碼實例
- Python requests模塊安裝及使用教程圖解
- Python requests模塊cookie實例解析
- python爬蟲開發(fā)之Request模塊從安裝到詳細使用方法與實例全解
- Python3離線安裝Requests模塊問題
- python爬蟲 基于requests模塊的get請求實現(xiàn)詳解
- python爬蟲 基于requests模塊發(fā)起ajax的get請求實現(xiàn)解析
- python利用re,bs4,requests模塊獲取股票數(shù)據(jù)
- Python實現(xiàn)使用request模塊下載圖片demo示例
- Python3使用requests模塊實現(xiàn)顯示下載進度的方法詳解
- python request 模塊詳細介紹
相關文章
導入pytorch時libmkl_intel_lp64.so找不到問題解決
這篇文章主要為大家介紹了導入pytorch時libmkl_intel_lp64.so找不到問題解決示例,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2022-06-06如何讓PyQt5中QWebEngineView與JavaScript交互
這篇文章主要介紹了如何讓PyQt5中QWebEngineView與JavaScript交互,幫助大家更好的理解和學習PyQt5框架,感興趣的朋友可以了解下2020-10-10Python logging模塊異步線程寫日志實現(xiàn)過程解析
這篇文章主要介紹了Python logging模塊異步線程寫日志實現(xiàn)過程解析,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-06-06Python實戰(zhàn)之基于OpenCV的美顏掛件制作
在本文中,我們將學習如何創(chuàng)建有趣的基于Snapchat的增強現(xiàn)實,主要包括兩個實戰(zhàn)項目:在檢測到的人臉上的鼻子和嘴巴之間添加胡子掛件,在檢測到的人臉上添加眼鏡掛件。感興趣的童鞋可以看看哦2021-11-11