Python3爬蟲(chóng)之urllib攜帶cookie爬取網(wǎng)頁(yè)的方法
如下所示:
import urllib.request import urllib.parse url = 'https://weibo.cn/5273088553/info' #正常的方式進(jìn)行訪問(wèn) # headers = { # 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36' # } # 攜帶cookie進(jìn)行訪問(wèn) headers = { 'GET https':'//weibo.cn/5273088553/info HTTP/1.1', 'Host':' weibo.cn', 'Connection':' keep-alive', 'Upgrade-Insecure-Requests':' 1', 'User-Agent':' Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36', 'Accept':' text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8', # 'Referer: https':'//weibo.cn/', 'Accept-Language':' zh-CN,zh;q=0.9', 'Cookie':' _T_WM=c1913301844388de10cba9d0bb7bbf1e; SUB=_2A253Wy_dDeRhGeNM7FER-CbJzj-IHXVUp7GVrDV6PUJbkdANLXPdkW1NSesPJZ6v1GA5MyW2HEUb9ytQW3NYy19U; SUHB=0bt8SpepeGz439; SCF=Aua-HpSw5-z78-02NmUv8CTwXZCMN4XJ91qYSHkDXH4W9W0fCBpEI6Hy5E6vObeDqTXtfqobcD2D32r0O_5jSRk.; SSOLoginState=1516199821', } request = urllib.request.Request(url=url,headers=headers) response = urllib.request.urlopen(request) #輸出所有 # print(response.read().decode('gbk')) #將內(nèi)容寫(xiě)入文件中 with open('weibo.html','wb') as fp: fp.write(response.read())
以上這篇Python3爬蟲(chóng)之urllib攜帶cookie爬取網(wǎng)頁(yè)的方法就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
- python爬蟲(chóng)爬取bilibili網(wǎng)頁(yè)基本內(nèi)容
- Python 爬蟲(chóng)批量爬取網(wǎng)頁(yè)圖片保存到本地的實(shí)現(xiàn)代碼
- python爬蟲(chóng)利器之requests庫(kù)的用法(超全面的爬取網(wǎng)頁(yè)案例)
- python爬蟲(chóng)爬取網(wǎng)頁(yè)數(shù)據(jù)并解析數(shù)據(jù)
- Python使用爬蟲(chóng)爬取靜態(tài)網(wǎng)頁(yè)圖片的方法詳解
- python爬蟲(chóng)爬取網(wǎng)頁(yè)表格數(shù)據(jù)
- Python爬蟲(chóng)爬取一個(gè)網(wǎng)頁(yè)上的圖片地址實(shí)例代碼
- python爬蟲(chóng)爬取某圖書(shū)網(wǎng)頁(yè)實(shí)例講解
相關(guān)文章
Python3實(shí)現(xiàn)打印任意寬度的菱形代碼
這篇文章主要介紹了Python3實(shí)現(xiàn)打印任意寬度的菱形代碼,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-04-04python?DataFrame中l(wèi)oc與iloc取數(shù)據(jù)的基本方法實(shí)例
這篇文章主要給大家介紹了關(guān)于python?DataFrame中l(wèi)oc與iloc取數(shù)據(jù)的基本方法,文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2022-02-02python讀取.mat文件及將變量存為.mat文件的詳細(xì)介紹
這篇文章主要給大家介紹了關(guān)于python讀取.mat文件及將變量存為.mat文件的詳細(xì)介紹,?mat文件是matlab的數(shù)據(jù)存儲(chǔ)的標(biāo)準(zhǔn)格式,文中通過(guò)代碼介紹的非常詳細(xì),需要的朋友可以參考下2024-06-06Python實(shí)現(xiàn)簡(jiǎn)單的語(yǔ)音識(shí)別系統(tǒng)
這篇文章主要介紹了Python實(shí)現(xiàn)簡(jiǎn)單的語(yǔ)音識(shí)別系統(tǒng),具有一定借鑒價(jià)值,需要的朋友可以參考下。2017-12-123行Python代碼實(shí)現(xiàn)剪輯音樂(lè)
你以為剪輯音樂(lè)要很久嗎?其余3行語(yǔ)句Python就能瞬間搞定。本文就來(lái)詳細(xì)為大家講講實(shí)現(xiàn)的步驟,文中的示例代碼講解詳細(xì),感興趣的可以動(dòng)手嘗試一下2022-06-06pycharm雙擊無(wú)響應(yīng)(打不開(kāi)問(wèn)題解決辦法)
這篇文章主要介紹了pycharm雙擊無(wú)響應(yīng)(打不開(kāi)問(wèn)題解決辦法),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-01-01解決pycharm下載庫(kù)時(shí)出現(xiàn)Failed to install package的問(wèn)題
很多小伙伴遇到pycharm下載庫(kù)時(shí)出現(xiàn)Failed to install package不知道怎么解決,下面小編給大家?guī)?lái)了解決方法,需要的朋友參考下吧2021-09-09