Python requests獲取網(wǎng)頁常用方法解析
更新時間：2020年02月20日 11:20:15 作者：酸果實愛吐泡泡的魚
這篇文章主要介紹了Python requests獲取網(wǎng)頁常用方法解析,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
這篇文章主要介紹了Python requests獲取網(wǎng)頁常用方法解析,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
主要記錄使用 requests 模塊獲取網(wǎng)頁源碼的方法
class Crawler(object):
"""
采集類
"""
def __init__(self, base_url):
self._base_url = base_url
self._cookie = None
self._getCookie()
def _getCookie(self):
"""
獲取站點cookie
:return:
"""
try:
res = requests.get(self._base_url)
res.raise_for_status()
# TODO response.cookies獲取到的是一個cookiejar對象，需要使用requests.utils.dict_from_cookiejar來
# TODO 將cookiejar對象轉(zhuǎn)換為一個字典，這個字典后續(xù)使用的時候，在請求時直接傳入就可以了，
# 如 requests.get(url, cookies=cookies)
self._cookie = requests.utils.dict_from_cookiejar(res.cookies)
print self._cookie
except Exception as e:
print e
def get_html_text(self, url, **kwargs):
"""
爬取網(wǎng)頁的通用代碼框架
:param url:
:param method:
:param kwargs:
:return:
"""
try:
kwargs.setdefault('cookies', self._cookie)
res = requests.get(url, **kwargs)
# TODO 若響應(yīng)狀態(tài)碼不是200, 拋出 HTTPError 異常
res.raise_for_status()
res.encoding = res.apparent_encoding
# print requests.utils.dict_from_cookiejar(res.cookies)
return res.text
except Exception as e:
print traceback.print_exc()
return
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
python 是一種解釋型的編程語言，所以不像編譯型語言那樣需要顯式的編譯過程。然而，在 Python 代碼執(zhí)行之前，它需要被解釋器轉(zhuǎn)換成字節(jié)碼，這個過程就是 Python 的編譯過程,還不知道的朋友快來看看吧2023-04-04
詳解pyqt5的UI中嵌入matplotlib圖形并實時刷新(挖坑和填坑)
這篇文章主要介紹了詳解pyqt5的UI中嵌入matplotlib圖形并實時刷新(挖坑和填坑)，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-08-08
本文主要介紹了NVIDIA安裝CUDA的實現(xiàn),包括系統(tǒng)要求、軟件下載、安裝步驟以及常見問題解決,具有一定的參考價值,感興趣的可以了解一下2024-01-01
Python opencv缺陷檢測的實現(xiàn)及問題解決
這篇文章主要介紹了Python opencv缺陷檢測的實現(xiàn)及問題解決，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-04-04
Pycharm虛擬環(huán)境創(chuàng)建并使用命令行指定庫的版本進行安裝
Pycharm創(chuàng)建的項目，使用了虛擬環(huán)境，對庫的版本進行管理，有些項目的對第三方庫的版本要求不同，可使用虛擬環(huán)境進行管理，直接想通過pip命令安裝可以參考下本文的操作步驟2022-07-07
Python PaddlePaddle機器學(xué)習(xí)之求解線性模型
這篇文章主要介紹了Python PaddlePaddle機器學(xué)習(xí)之求解線性模型，文章圍繞主題展開詳細的內(nèi)容介紹，具有一定參考價值，需要的小伙伴可以參考一下2022-08-08
也就在前幾天，南太平洋島國湯加發(fā)生火山噴發(fā)。所以今天小編將為大家介紹如何用Python當(dāng)中的folium模塊以及其他的可視化庫來對全球的火山情況做一個分析。需要的可以參考一下2022-01-01
Python編程快速上手——Excel到CSV的轉(zhuǎn)換程序案例分析
這篇文章主要介紹了Python Excel到CSV的轉(zhuǎn)換程序,結(jié)合具體案例形式分析了Python操作Excel到CSV轉(zhuǎn)換的操作技巧與相關(guān)注意事項,需要的朋友可以參考下2020-02-02
這篇文章主要介紹了Python封裝解構(gòu)以及丟棄變量，文章圍繞主題展開詳細的內(nèi)容介紹，具有一定的參考價值，需要的朋友可以參考一下2022-09-09
Pandas出現(xiàn)KeyError的問題解決及分析
本文主要介紹了Pandas出現(xiàn)KeyError的問題解決及分析，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-01-01