Python urllib.request對象案例解析
剛剛接觸爬蟲，基礎(chǔ)的東西得時(shí)時(shí)回顧才行，這么全面的帖子無論如何也得厚著臉皮轉(zhuǎn)過來?。?br />
什么是 Urllib 庫？
urllib 庫 是 Python 內(nèi)置的 HTTP 請求庫。urllib 模塊提供的上層接口，使訪問 www 和 ftp 上的數(shù)據(jù)就像訪問本地文件一樣。
有以下幾種模塊：
1.urllib.request 請求模塊
2. urllib.error 異常處理模塊
3. urllib.parse url 解析模塊
4. urllib.robotparser robots.txt 解析模塊
Urllib 庫下的幾種模塊基本使用如下：
urllib.request
關(guān)于 urllib.request： urllib.request 模塊提供了最基本的構(gòu)造 HTTP （或其他協(xié)議如 FTP）請求的方法，利用它可以模擬瀏覽器的一個(gè)請求發(fā)起過程。利用不同的協(xié)議去獲取 URL 信息。它的某些接口能夠處理基礎(chǔ)認(rèn)證 （ Basic Authenticaton） 、redirections （HTTP 重定向)、 Cookies (瀏覽器 Cookies）等情況。而這些接口是由 handlers 和 openers 對象提供的。
1.常用的方法有
- read()==讀取文件內(nèi)容
- geturl()==獲取請求url
- getheaders()==獲取http請求頭信息
- getcode()==獲取狀態(tài)碼
- readlines()==獲取一行
2.案例
#coding=utf-8
#import urllib.request
#=========response方法使用
#read()==讀取文件內(nèi)容
#geturl()==獲取請求url
#getheaders()==獲取http請求頭信息
#getcode()==獲取狀態(tài)碼
#readlines()==獲取一行
#url="http://www.baidu.com";
#response = urllib.request.urlopen(url);
#=====案例1
# str = response.read().decode();#這樣通過decode轉(zhuǎn)換為utf8
# with open("baidu.html","w",encoding="utf8") as fp:
# fp.write(str);
#=====案例2通過字節(jié)流寫=默認(rèn)通過read讀取的是字節(jié)流
# with open("bai.html","wb") as fp:
# fp.write(response.read());
#==使用字節(jié)流讀取存圖片
# image_url='https://ss3.bdstatic.com/70cFv8Sh_Q1YnxGkpoWK1HF6hhy/it/u=3772530225,1800402028&fm=26&gp=0.jpg';
# response = urllib.request.urlopen(image_url);
# with open("mv.jpg",'wb') as fp:
# fp.write(response.read());
#案例3==使用內(nèi)置函數(shù)讀取圖片
#image_url='https://ss3.bdstatic.com/70cFv8Sh_Q1YnxGkpoWK1HF6hhy/it/u=3772530225,1800402028&fm=26&gp=0.jpg';
#urllib.request.urlretrieve(image_url,"chun.jpg");
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
- python urllib.request模塊的使用詳解
- python 如何用urllib與服務(wù)端交互(發(fā)送和接收數(shù)據(jù))
- python urllib和urllib3知識點(diǎn)總結(jié)
- python爬蟲基礎(chǔ)之urllib的使用
- Python urllib request模塊發(fā)送請求實(shí)現(xiàn)過程解析
- Python urllib3軟件包的使用說明
- Python urllib庫如何添加headers過程解析
- 詳解python內(nèi)置模塊urllib
- python3 中使用urllib問題以及urllib詳解
- Python urllib2運(yùn)行過程原理解析
- python中urllib.request和requests的使用及區(qū)別詳解
- python urllib庫的使用詳解
相關(guān)文章
python selenium 獲取標(biāo)簽的屬性值、內(nèi)容、狀態(tài)方法
今天小編就為大家分享一篇python selenium 獲取標(biāo)簽的屬性值、內(nèi)容、狀態(tài)方法，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-06-06
這篇文章主要給大家介紹了關(guān)于django用戶登錄驗(yàn)證的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對大家學(xué)習(xí)或者使用Spring django具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧2019-07-07
matplotlib 生成的圖像中無法顯示中文字符的解決方法
這篇文章主要介紹了matplotlib 生成的圖像中無法顯示中文字符的解決方法，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-06-06
python字符串和常用數(shù)據(jù)結(jié)構(gòu)知識總結(jié)
在本文中我們系統(tǒng)的給大家整理了關(guān)于python字符串和常用數(shù)據(jù)結(jié)構(gòu)的相關(guān)知識點(diǎn)以及實(shí)例代碼，需要的朋友們學(xué)習(xí)下。2019-05-05
利用Python腳本生成sitemap.xml的實(shí)現(xiàn)方法
最近項(xiàng)目中需要用腳本生成sitemap，中間學(xué)習(xí)了一下sitemap的格式和lxml庫的用法。把結(jié)果記錄一下，方便以后需要直接拿來用。下面這篇文章主要介紹了利用Python腳本生成sitemap.xml的實(shí)現(xiàn)方法,需要的朋友可以參考借鑒，一起來看看吧。2017-01-01
基于Python實(shí)現(xiàn)人臉自動(dòng)戴口罩系統(tǒng)
2019年新型冠狀病毒感染的肺炎疫情發(fā)生以來，牽動(dòng)人心，舉國哀痛，口罩、酒精、消毒液奇貨可居。這篇文章主要介紹了基于Python的人臉自動(dòng)戴口罩系統(tǒng),需要的朋友可以參考下2020-02-02
python導(dǎo)入csv文件出現(xiàn)SyntaxError問題分析
這篇文章主要介紹了python導(dǎo)入csv文件出現(xiàn)SyntaxError問題分析，同時(shí)涉及python導(dǎo)入csv文件的三種方法，具有一定借鑒價(jià)值，需要的朋友可以參考下。2017-12-12
python 實(shí)現(xiàn)多線程的三種方法總結(jié)
這篇文章主要介紹了python 實(shí)現(xiàn)多線程的三種方法總結(jié)，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-04-04
這篇文章主要介紹了python單元測試unittest用法,以實(shí)例形式詳細(xì)分析了Python中單元測試的概念、用法與相關(guān)使用技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2015-05-05
實(shí)例探究Python以并發(fā)方式編寫高性能端口掃描器的方法
端口掃描器就是向一批端口上發(fā)送請求來檢測端口是否打開的程序,這里我們以實(shí)例探究Python以并發(fā)方式編寫高性能端口掃描器的方法2016-06-06