Python如何實現(xiàn)轉(zhuǎn)換URL詳解

更新時間：2019年07月02日 15:28:28 投稿：yaominghui

這篇文章主要介紹了Python如何實現(xiàn)轉(zhuǎn)換URL詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

設計一個算法，將URL轉(zhuǎn)換成5部分，分別是：schema、netloc、path、query_params、fragment。

問題

URL的中文名叫統(tǒng)一資源定位符，就是咱們常說的網(wǎng)址，設計一個算法，將URL轉(zhuǎn)換成5部分，分別是：schema、netloc、path、query_params、fragment。

<scheme>://<netloc>/<path>?<query_params>#<fragment>

一圖勝千言：

應用場景

在實際應用場景中，有些聚合網(wǎng)站會把URL里面netloc提取出來。

分析

這里沒有什么特別復雜的算法，因為每部分都有一個特別的字符，所以，如果你熟練Python的字符串操作和正則表達式使用的話那么就很簡單。

知識點

字符串的常用方法split、find、join、lower、切片的使用，re模塊下面的常用方法。另外還有關于如何使用 namedtuple 定義一個簡單類的操作

實現(xiàn)

第一種方式使用字符串提供的方法，就是根據(jù)關鍵字符進行切分。整體思路是利用字符串的切片功能不斷進行切分，代碼稍顯復雜。

URL = namedtuple("URL", ["schema", "netloc", "path", "params", "fragment"])
def url_parse1(url):
assert url.startswith("http")
# 初始化每部分為空
schema = netloc = params = fragment = path = None
# 從 :// 切分 url，前面部分是shema
i = url.find('://')
if i > 0:
schema = url[:i]
url = url[i + 3:]
# 獲取netloc
for c in "/?#": # 三個分隔符的順利很重要
a = url.find(c)
if a > 0: # 只要有三個字符中的任意字符，立即切分，前部分就是netloc，剩下的部分進行后續(xù)處理
netloc, url = url[0:a], url[a:]
break
else:
netloc, url = url, '' # 如果三個分隔符都不在url中，那么這是一個只包含
# 同樣的方式獲取path
for c in "?#":
a = url.find(c)
if a > 0:
path, url = url[0:a], url[a:]
break
else:
path, url = url or None, ''
if "#" in url:
url, fragment = url.split("#", 1)
if '?' in url:
url, params = url.split('?', 1)
return URL(schema=schema, netloc=netloc, path=path, params=_params_parse(params), fragment=fragment)
def _params_parse(params):
if not params:
return None
pairs = [s for s in params.split('&')]
param_dict = dict()
for pair in pairs:
k, v = pair.split('=', 1)
param_dict[k] = v
return param_dict

第二種方式就是用正則表達式，主要考驗你寫正則的能力

def url_parse2(url):
rex = r'^(http[s]?):\/\/([^\/\s]+)([\/\w\-\.]+[^#?\s]*)?(\?([^#]*))?(#(.*))?$'
schema = netloc = params = fragment = path = ''
pattern = re.compile(rex)
match = pattern.match(url)
if match:
schema = match.group(1)
netloc = match.group(2)
path = match.group(3)
params = match.group(5)
fragment = match.group(7)
return URL(schema=schema, netloc=netloc, path=path, params=_params_parse(params), fragment=fragment)

通過正則表達式的分組功能提取每部分，關于正則表達式推薦兩個資源

在線調(diào)試正則表達式

Python中正則表達式介紹, 這是一篇比較完整介紹Python中正則表達式的文章，如果你能讀懂里面的每句話，并且實踐后，你一定能寫出上面這樣的表達式出來。

當然，你也可以直接使用urlparse模塊中現(xiàn)成的方式來實現(xiàn)。

以上就是本文的全部內(nèi)容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章: