python實現(xiàn)切割url得到域名、協(xié)議、主機名等各個字段的例子
更新時間:2019年07月25日 08:58:42 作者:Together_CZ
今天小編就為大家分享一篇python實現(xiàn)切割url得到域名、協(xié)議、主機名等各個字段的例子,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
有一個需求就是需要對url進行進一步的劃分得到詳細的各個字段信息,下面是簡單的實現(xiàn):
#!/usr/bin/python # -*- coding: UTF-8 -*- ''' __Author__:沂水寒城 功能: 對URL進行分割,基于urlparse, publicsuffix, urllib編寫 ''' from urlparse import urlparse import codecs from publicsuffix import PublicSuffixList from urllib import splitport import re def domain_split(server_domain): ''' server_domain為網(wǎng)站所用服務(wù)名+域名 分割域名, 得到前綴(服務(wù)名)、主機域名、后綴(頂級域名) 輸入www.baidu.com,輸出'www', 'baidu', 'com' 輸入172.31.137.240,輸出'', '172.31.137.240', '' ''' PSL_FILE = codecs.open('public_suffix_list.dat', encoding='utf8') psl = PublicSuffixList(PSL_FILE) domain = psl.get_public_suffix(server_domain) # 取域名的第一個字段,即第一個'.'之前的為主機域名, 后面為頂級域名,前面為所使用的服務(wù) if '.' in domain: server = server_domain[:-len(domain)] host = domain[:domain.index('.')] top = domain[domain.index('.'):] hostname = server + host + top else: # 說明提取域名失敗,例如172.31.137.240等IP形式,此時全部當(dāng)作主機域名 server = '' host = server_domain top = '' hostname = server_domain return server, host, top, hostname def url_split_new(url): ''' url分割 ''' if not url.startswith('http'): # 補全協(xié)議,否則urlparse出錯 url = 'http://' + url parts = urlparse(url) # 服務(wù)+域名'www.baidu.api.com.cn'切分 server, host, top, hostname = domain_split(parts.netloc) host, port = splitport(host) if port == None: port = '' return {'protocol': parts.scheme, 'hostname': hostname, 'path': parts.path} if __name__ == '__main__': print url_split_new('http://www.baidu.com/') print url_split('http://www.baidu.com/')
以上這篇python實現(xiàn)切割url得到域名、協(xié)議、主機名等各個字段的例子就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。
相關(guān)文章
Python使用APScheduler實現(xiàn)定時任務(wù)過程解析
這篇文章主要介紹了Python使用APScheduler實現(xiàn)定時任務(wù)過程解析,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-09-09利用pandas將numpy數(shù)組導(dǎo)出生成excel的實例
今天小編就為大家分享一篇利用pandas將numpy數(shù)組導(dǎo)出生成excel的實例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-06-06Python利用Matplotlib繪圖無法顯示中文字體的兩種解決方案
matplotlib 是python最著名的繪圖庫,它提供了一整套和matlab相似的命令A(yù)PI,這篇文章主要給大家介紹了關(guān)于Python利用Matplotlib繪圖無法顯示中文字體的兩種解決方案,需要的朋友可以參考下2024-03-03python的virtualenv虛擬環(huán)境常見問題和命令
在Python中,venv是一個用于創(chuàng)建和管理虛擬環(huán)境的模塊,虛擬環(huán)境可以幫助你在項目之間隔離不同的Python包和依賴關(guān)系,這篇文章主要介紹了python的virtualenv虛擬環(huán)境常見問題和命令,需要的朋友可以參考下2024-07-07