淺析Python requests 模塊
Python requests 模塊
requests 模塊是我們使用的 python爬蟲 模塊 可以完成市場(chǎng)進(jìn)80%的爬蟲需求。
安裝
pip install requests
使用
requests模塊代碼編寫的流程:
- - 指定url
- - 發(fā)起請(qǐng)求
- - 獲取響應(yīng)對(duì)象中的數(shù)據(jù)
- - 持久化存儲(chǔ)
-------------案例------------------------- import requests # 指定url url="https://www.sogou.com/" # 發(fā)起請(qǐng)求 response = requests.get(url) # 獲取響應(yīng)對(duì)象中的數(shù)據(jù) page_text = response.text # 持久化存儲(chǔ) with open('./sogou.html','w',encoding='utf-8') as fp: fp.write() -------------------------------------------
參數(shù)
# post 數(shù)據(jù) response = requests.post(url=url,data=data,headers=headers) # get 數(shù)據(jù) response = requests.get(url=url,data=data,headers=headers) # 返回二進(jìn)制數(shù)據(jù) response.content # 返回字符串?dāng)?shù)據(jù) response.text # 返回json對(duì)象 response.json()
其他了解
1、該模塊實(shí)現(xiàn)爬取數(shù)據(jù)前需要查找需要爬取數(shù)據(jù)的指定URL,可通過瀏覽器自帶抓包功能。
# 瀏覽器抓取 Ajax 請(qǐng)求 F12 --> Network --> XHR --> Name --> Response
2、上面的headers參數(shù)是進(jìn)行UA偽裝為了反反爬
反爬機(jī)制:UA檢測(cè) --> UA偽裝
3、下面是http我們爬包是常用的請(qǐng)求頭參數(shù)
- accept: 瀏覽器通過這個(gè)頭告訴服務(wù)器,他所支持的數(shù)據(jù)類型 - Accept-Charset:瀏覽器通過這個(gè)頭告訴服務(wù)器,它支持那種字符集 - Accept-Encoding:瀏覽器通過這個(gè)頭告訴服務(wù)器,支持的壓縮格式 - Accept-Language:瀏覽器通過這個(gè)頭告訴服務(wù)器,他的語言環(huán)境 - Host:瀏覽器同過這個(gè)頭告訴服務(wù)器,想訪問哪臺(tái)主機(jī) - If-ModifiedSince:瀏覽器通過這個(gè)頭告訴服務(wù)器,緩存數(shù)據(jù)的時(shí)間 - Heferer:瀏覽器通過這個(gè)頭告訴服務(wù)器,客戶及時(shí)那個(gè)頁面來的,防盜鏈 - Connection:瀏覽器通過這個(gè)頭告訴服務(wù)器,請(qǐng)求完后是斷開鏈接還是保持鏈接 - X-Requested-With:XMLHttpRequest 代表通過ajax方式進(jìn)行訪問 - User-Agent:請(qǐng)求載體的身份標(biāo)識(shí)
以上就是淺析Python requests 模塊的詳細(xì)內(nèi)容,更多關(guān)于Python requests 模塊的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
- Python使用requests模塊爬取百度翻譯
- Python grequests模塊使用場(chǎng)景及代碼實(shí)例
- Python requests模塊安裝及使用教程圖解
- Python requests模塊cookie實(shí)例解析
- python爬蟲開發(fā)之Request模塊從安裝到詳細(xì)使用方法與實(shí)例全解
- Python3離線安裝Requests模塊問題
- python爬蟲 基于requests模塊的get請(qǐng)求實(shí)現(xiàn)詳解
- python爬蟲 基于requests模塊發(fā)起ajax的get請(qǐng)求實(shí)現(xiàn)解析
- python利用re,bs4,requests模塊獲取股票數(shù)據(jù)
- Python實(shí)現(xiàn)使用request模塊下載圖片demo示例
- Python3使用requests模塊實(shí)現(xiàn)顯示下載進(jìn)度的方法詳解
- python request 模塊詳細(xì)介紹
相關(guān)文章
Python Opencv實(shí)現(xiàn)最強(qiáng)美顏濾鏡效果
這篇文章主要介紹了如何利用Python OpenCV制作一個(gè)強(qiáng)大的美顏濾鏡效果,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以學(xué)習(xí)一下2022-03-03導(dǎo)入pytorch時(shí)libmkl_intel_lp64.so找不到問題解決
這篇文章主要為大家介紹了導(dǎo)入pytorch時(shí)libmkl_intel_lp64.so找不到問題解決示例,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-06-06如何讓PyQt5中QWebEngineView與JavaScript交互
這篇文章主要介紹了如何讓PyQt5中QWebEngineView與JavaScript交互,幫助大家更好的理解和學(xué)習(xí)PyQt5框架,感興趣的朋友可以了解下2020-10-10Python logging模塊異步線程寫日志實(shí)現(xiàn)過程解析
這篇文章主要介紹了Python logging模塊異步線程寫日志實(shí)現(xiàn)過程解析,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-06-06Python實(shí)戰(zhàn)之基于OpenCV的美顏掛件制作
在本文中,我們將學(xué)習(xí)如何創(chuàng)建有趣的基于Snapchat的增強(qiáng)現(xiàn)實(shí),主要包括兩個(gè)實(shí)戰(zhàn)項(xiàng)目:在檢測(cè)到的人臉上的鼻子和嘴巴之間添加胡子掛件,在檢測(cè)到的人臉上添加眼鏡掛件。感興趣的童鞋可以看看哦2021-11-11舉例講解Python設(shè)計(jì)模式編程中的訪問者與觀察者模式
這篇文章主要介紹了Python設(shè)計(jì)模式編程中的訪問者與觀察者模式,設(shè)計(jì)模式的制定有利于團(tuán)隊(duì)協(xié)作編程代碼的協(xié)調(diào),需要的朋友可以參考下2016-01-01