Python3如何對urllib和urllib2進行重構(gòu)
這篇文章主要介紹了Python3如何對urllib和urllib2進行重構(gòu),文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
python3對urllib和urllib2進行了重構(gòu),拆分成了urllib.request,urllib.response, urllib.parse, urllib.error等幾個子模塊,這樣的架構(gòu)從邏輯和結(jié)構(gòu)上說更加合理。urllib庫無需安裝,python3自帶。python 3.x中將urllib庫和urilib2庫合并成了urllib庫。 其中
- urllib2.urlopen() 變成了 urllib.request.urlopen()
- urllib2.Request() 變成了 urllib.request.Request()
- python2中的 cookielib 改為 http.cookiejar.
- import http.cookiejar 代替 import cookielib
- urljoin 現(xiàn)在對應(yīng)的函數(shù)是 urllib.parse.urljoin
代碼如下
import urllib.request import http.cookiejar url ="http://www.baidu.com" print ('第一種方法') response1=urllib.request.urlopen(url) print (response1.getcode()) print (len(response1.read())) print ('第二種方法') request=urllib.request.Request(url) request.add_header("user-agent","Mozilla/5.0")#將爬蟲偽裝成瀏覽器 response2=urllib.request.urlopen(request) print (response2.getcode())#打印狀態(tài)碼 print (len(response2.read()))#打印內(nèi)容長度 print ('第三種方法') cj = http.cookiejar.CookieJar() opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj)) urllib.request.install_opener(opener) response3=urllib.request.urlopen(url) print (response1.getcode()) print (cj) #輸出cookie print (response1.read())
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
Python?pyecharts?Map地圖數(shù)據(jù)不顯示的原因及完美解決
這篇文章主要給大家介紹了關(guān)于Python?pyecharts?Map地圖數(shù)據(jù)不顯示的原因及解決辦法,pyecharts是一款將python與echarts結(jié)合的強大的數(shù)據(jù)可視化工具,文中通過圖文以及代碼示例介紹的非常詳細,需要的朋友可以參考下2023-12-12python實現(xiàn)簡易內(nèi)存監(jiān)控
這篇文章主要介紹了python實現(xiàn)簡易內(nèi)存監(jiān)控,每隔3秒獲取系統(tǒng)內(nèi)存,當(dāng)內(nèi)存超過設(shè)定的警報值時,獲取所有進程占用內(nèi)存并發(fā)出警報聲,具有一定的參考價值,感興趣的小伙伴們可以參考一下2018-06-06淺談Pytorch中autograd的若干(踩坑)總結(jié)
這篇文章主要介紹了Pytorch中autograd的若干(踩坑)總結(jié),具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2021-05-05解決tensorflow讀取本地MNITS_data失敗的原因
這篇文章主要介紹了解決tensorflow讀取本地MNITS_data失敗的原因,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06Python協(xié)程 yield與協(xié)程greenlet簡單用法示例
這篇文章主要介紹了Python協(xié)程 yield與協(xié)程greenlet簡單用法,簡要講述了協(xié)程的概念、原理,并結(jié)合實例形式分析了Python協(xié)程 yield與協(xié)程greenlet基本使用方法,需要的朋友可以參考下2019-11-11python3實現(xiàn)短網(wǎng)址和數(shù)字相互轉(zhuǎn)換的方法
這篇文章主要介紹了python3實現(xiàn)短網(wǎng)址和數(shù)字相互轉(zhuǎn)換的方法,涉及Python操作字符串的相關(guān)技巧,非常具有實用價值,需要的朋友可以參考下2015-04-04