詳解python內(nèi)置模塊urllib
urllib 是 python 的內(nèi)置模塊， 主要用于處理url相關(guān)的一些操作，例如訪問url、解析url等操作。
urllib 包下面的 request 模塊主要用于訪問url，但是用得太多，因?yàn)樗墓饷⑷急?code> requests 這個第三方庫覆蓋了，最常用的還是 parse 模塊。 寫爬蟲過程中，經(jīng)常要對url進(jìn)行參數(shù)的拼接、編碼、解碼，域名、資源路徑提取等操作，這時 parse 模塊就可以排上用場。
一、urlparse
urlparse 方法是把一個完整的URL拆分成不同的組成部分，你可以根據(jù)自己的需求提取其中的某部分內(nèi)容。 返回結(jié)果 ParseResult 是 namedtuple 的子類，由以下10部分組成，每部分既可以通過名字獲取也可以通過下表索引得到。
>>> from urllib import parse >>> url = 'https://mp.weixin.qq.com/s?__biz=MjM5MzgyODQxMQ==&mid=2650366919&idx=1&sn=1b36a9f2c0921cdeac52942ec591a923#rd' >>> result = parse.urlparse(url) # 返回ParseResult對象 >>> print(result) ParseResult(scheme='https', netloc='mp.weixin.qq.com', path='/s', params='', query='__biz=MjM5MzgyODQxMQ==&mid=2650366919&idx=1&sn=1b36a9f2c0921cdeac52942ec591a923', fragment='rd') # 通過下標(biāo)獲取協(xié)議 >>> result[0] 'https' # 協(xié)議 >>> result.scheme 'https' # url資源路徑 >>> result.path '/s' # 查詢參數(shù) >>> result.query '__biz=MjM5MzgyODQxMQ==&mid=2650366919&idx=1&sn=1b36a9f2c0921cdeac52942ec591a923' # 獲取主機(jī)名 >>> result.hostname 'mp.weixin.qq.com'
二、parse_qs
parse_qs 方法是將查詢參數(shù)這部分內(nèi)容從字符串轉(zhuǎn)換成字典對象
>>> parse.parse_qs(result.query)
{'__biz': ['MjM5MzgyODQxMQ=='], 'mid': ['2650366919'], 'idx': ['1'], 'sn': ['1b36a9f2c0921cdeac52942ec591a923']}
>>>
每個參數(shù)名對應(yīng)一個列表對象，這是因?yàn)樵趗rl規(guī)范中，一個參數(shù)名可以有多個值，例如： a=1&a=2，通常在實(shí)際應(yīng)用場景中一般一個參數(shù)名只會對應(yīng)一個值。
你可以用一行代碼將列表轉(zhuǎn)化為字符串
>>> {name: value[0] for name, value in parse.parse_qs(result.query).items()}
{'__biz': 'MjM5MzgyODQxMQ==', 'mid': '2650366919', 'idx': '1', 'sn': '1b36a9f2c0921cdeac52942ec591a923'}
三、urlencode
反過來，如果將一個字典對象想轉(zhuǎn)換為url中的查詢參數(shù)，那么就可以使用urlencode方法。
>>> d = {'__biz': 'MjM5MzgyODQxMQ==', 'mid': '2650366919', 'idx': '1'}
>>> parse.urlencode(d)
'__biz=MjM5MzgyODQxMQ%3D%3D&mid=2650366919&idx=1'
四、quote
在URL的標(biāo)準(zhǔn)規(guī)范中，url 只允許數(shù)字、字母和部分特殊符號的存在，如果有中文和某些特殊符號，就需要使用UTF-8進(jìn)行編碼，將這些字符轉(zhuǎn)換成 %XX 的形式，例如: 【中】UTF-8編碼的結(jié)果是：
>>> "中".encode() b'\xe4\xb8\xad'
那么瀏覽器實(shí)際上會把【中】轉(zhuǎn)換成 %e4%b8%ad
在python中，就可以用 quote 方法進(jìn)行URL編碼，對于特殊符號，也會進(jìn)行成對應(yīng)的16進(jìn)制符號， 例如 【=】 就轉(zhuǎn)換成了 %3D 。
>>> parse.quote("q=中")
'q%3D%E4%B8%AD'
>>>
quote_plus 可以將空格編碼成“+”
>>> parse.quote_plus("a b")
'a+b'
>>> parse.quote("a b")
'a%20b'
五、unquote
unquote 是 quote 的逆向過程，稱之為URL解碼，解碼方便開發(fā)者閱讀
>>> parse.unquote("q%3D%E4%B8%AD")
'q=中'
以上就是詳解python內(nèi)置模塊urllib的詳細(xì)內(nèi)容，更多關(guān)于python內(nèi)置模塊urllib的資料請關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
Python使用Selenium實(shí)現(xiàn)模擬登錄的示例代碼
Selenium（本文基于python3.8）是一個功能強(qiáng)大的自動化測試工具,它可以用于模擬用戶在瀏覽器中的行為,比如點(diǎn)擊、輸入、滾動等等,本教程將詳細(xì)介紹如何使用Python編寫一個模擬登錄地爬蟲,使用XPath等多種元素匹配方法,需要的朋友可以參考下2023-08-08
python實(shí)現(xiàn)windows倒計時鎖屏功能
這篇文章主要介紹了python實(shí)現(xiàn)windows倒計時鎖屏功能，代碼簡單易懂，非常不錯，具有一定的參考借鑒價值,需要的朋友可以參考下2019-07-07
如何基于OpenCV&Python實(shí)現(xiàn)霍夫變換圓形檢測
最近開始學(xué)習(xí)opencv,想檢測圖片上的圓環(huán),發(fā)現(xiàn)霍夫變換可以做這樣的效果出來,于是嘗試用霍夫變換做了下圓環(huán)檢測,這篇文章主要給大家介紹了基于OpenCV&Python實(shí)現(xiàn)霍夫變換圓形檢測的相關(guān)資料,需要的朋友可以參考下2021-08-08
Python實(shí)現(xiàn)的遠(yuǎn)程登錄windows系統(tǒng)功能示例
這篇文章主要介紹了Python實(shí)現(xiàn)的遠(yuǎn)程登錄windows系統(tǒng)功能,結(jié)合實(shí)例形式分析了Python基于wmi模塊的遠(yuǎn)程連接與進(jìn)程操作相關(guān)實(shí)現(xiàn)技巧,需要的朋友可以參考下2018-06-06
這篇文章主要介紹了使用Python處理Excel表格的簡單方法,本文給大家介紹的非常詳細(xì)，需要的朋友可以參考下2018-06-06
這篇文章主要介紹了python如何查找所有子串位置問題，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-01-01
Python內(nèi)存管理器如何實(shí)現(xiàn)池化技術(shù)
Python中的內(nèi)存管理是從三個方面來進(jìn)行的,一對象的引用計數(shù)機(jī)制,二垃圾回收機(jī)制,三內(nèi)存池機(jī)制,下面這篇文章主要給大家介紹了關(guān)于Python內(nèi)存管理器如何實(shí)現(xiàn)池化技術(shù)的相關(guān)資料,需要的朋友可以參考下2022-05-05
python實(shí)現(xiàn)將excel文件轉(zhuǎn)化成CSV格式
下面小編就為大家分享一篇python實(shí)現(xiàn)將excel文件轉(zhuǎn)化成CSV格式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-03-03
這篇文章主要介紹了fastcgi文件讀取漏洞之python掃描腳本,需要的朋友可以參考下2017-04-04
這篇文章主要介紹了Python簡單計算給定某一年的某一天是星期幾,涉及Python基于蔡勒公式的簡單日期數(shù)值運(yùn)算相關(guān)操作技巧,需要的朋友可以參考下2018-06-06