快捷導(dǎo)航

Python利用yarl實(shí)現(xiàn)輕松操作url

更新時(shí)間：2022年10月23日 14:29:12 作者：費(fèi)弗里

在諸如網(wǎng)絡(luò)爬蟲(chóng)、web應(yīng)用開(kāi)發(fā)等場(chǎng)景中，我們需要利用Python完成大量的url解析、生成等操作。本文為大家介紹了Pythonyarl操作url的方法，需要的可以了解一下

1.簡(jiǎn)介

大家好我是費(fèi)老師，在諸如網(wǎng)絡(luò)爬蟲(chóng)、web應(yīng)用開(kāi)發(fā)等場(chǎng)景中，我們需要利用Python完成大量的url解析、生成等操作。

而在Python生態(tài)中，無(wú)論是使用諸如urllib之類(lèi)的標(biāo)準(zhǔn)庫(kù)，還是各種第三方庫(kù)，可以用來(lái)有效處理url的方法都非常之豐富。而今天費(fèi)老師我要給大家介紹的url處理庫(kù)，則是我在實(shí)際使用中綜合考慮簡(jiǎn)單易用性與運(yùn)算速度后，最為滿(mǎn)意的。

2.在Python中利用yarl高效處理url

這個(gè)可以用來(lái)高效便捷處理url的第三方庫(kù)叫做yarl，使用pip install yarl完成安裝后，下面我們來(lái)快速學(xué)習(xí)其主要的一些功能方法：

2.1 利用yarl解析url信息

基于yarl中的URL()，我們可以從任意合法的url中解析出下圖所示的各個(gè)構(gòu)成部分：

先來(lái)看一個(gè)簡(jiǎn)單的例子，其中對(duì)我保管每一篇博客文章附件的github倉(cāng)庫(kù)路徑url進(jìn)行解析：

from yarl import URL

url = URL('https://github.com/CNFeffery/DataScienceStudyNotes/tree/master/%E5%8E%86%E5%8F%B2%E6%96%87%E7%AB%A0%E9%99%84%E4%BB%B6%E5%88%97%E8%A1%A8')

原始的網(wǎng)址由于包含了中文等非ASCII字符，所以粘貼到代碼中后變成了url編碼后的樣子，直接調(diào)用human_repr()方法即可進(jìn)行解碼還原：

而通過(guò)獲取對(duì)應(yīng)url各部分名稱(chēng)的屬性，即可分別提取出相應(yīng)信息：

其中端口信息是基于scheme信息按照常規(guī)情況進(jìn)行推斷的，http即為80，https即為443，若需要獲取url中顯式出現(xiàn)的端口信息，可以使用explicit_port：

針對(duì)url中的hash標(biāo)簽信息則可以通過(guò)fragment取得：

若要解析的url中包含query參數(shù)信息，則可以直接調(diào)用query得到MultiDict類(lèi)型的返回結(jié)果，這是種特殊的字典類(lèi)型，它允許存在重復(fù)的鍵，對(duì)于不存在重復(fù)的鍵值對(duì)，可以像普通字典那樣索引值，否則則需要通過(guò)getall()方法來(lái)返回所傳入鍵對(duì)應(yīng)的所有值列表：

可以感受到通過(guò)yarl解析url非常的方便~

2.2 利用yarl構(gòu)造url

當(dāng)我們需要基于已有的各部分信息構(gòu)造url時(shí)，yarl就更加方便了，基礎(chǔ)的方式是基于URL.build()方法，以函數(shù)傳參的方式定義url：

而如果你已經(jīng)有了具體存在的yarl.URL對(duì)象，想在此基礎(chǔ)上進(jìn)行其他部分內(nèi)容的設(shè)置，則可以使用一系列名稱(chēng)格式為with_xxx()的方法，其中xxx就對(duì)應(yīng)著各個(gè)部分的名稱(chēng)：