快捷導(dǎo)航

python爬蟲(chóng) urllib模塊url編碼處理詳解

更新時(shí)間：2019年08月20日 09:57:57 作者：minger_lcm

這篇文章主要介紹了python爬蟲(chóng) urllib模塊url編碼處理詳解,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下

案例：爬取使用搜狗根據(jù)指定詞條搜索到的頁(yè)面數(shù)據(jù)（例如爬取詞條為‘周杰倫'的頁(yè)面數(shù)據(jù)）

import urllib.request
# 1.指定url
url = 'https://www.sogou.com/web?query=周杰倫'
'''
2.發(fā)起請(qǐng)求:使用urlopen函數(shù)對(duì)指定的url發(fā)起請(qǐng)求，
該函數(shù)返回一個(gè)響應(yīng)對(duì)象，urlopen代表打開(kāi)url
'''
response = urllib.request.urlopen(url=url)
# 3.獲取響應(yīng)對(duì)象中的頁(yè)面數(shù)據(jù):read函數(shù)可以獲取響應(yīng)對(duì)象中存儲(chǔ)的頁(yè)面數(shù)據(jù)(byte類(lèi)型的數(shù)據(jù)值)
page_text = response.read()
# 4.持久化存儲(chǔ)：將爬取的頁(yè)面數(shù)據(jù)寫(xiě)入文件進(jìn)行保存
with open("sougou.html","wb") as f:
  f.write(page_text)
  print("寫(xiě)入數(shù)據(jù)成功")
  f.close()

編碼錯(cuò)誤

【注意】上述代碼中url存在非ascii編碼的數(shù)據(jù)，則該url無(wú)效。如果對(duì)其發(fā)起請(qǐng)求，則會(huì)報(bào)如下錯(cuò)誤：

UnicodeEncodeError: 'ascii' codec can't encode characters in position 15-17: ordinal not in range(128)

url的特性：url不可以存在非ASCII編碼字符數(shù)據(jù)，url必須為ASCII編碼的數(shù)據(jù)值。所以我們?cè)谂老x(chóng)代碼中編寫(xiě)url時(shí)，如果url中存在非ASCII編碼的數(shù)據(jù)值，則必須對(duì)其進(jìn)行ASCII編碼后，該url方可被使用。

上面的“周杰倫” 不是ASCII編碼字符數(shù)據(jù)，所以u(píng)rl就會(huì)變成無(wú)效的url，不符合url特性，所以報(bào)錯(cuò)誤

所以必須對(duì)url中的非ascii的數(shù)據(jù)進(jìn)行ascii的編碼，則該url方可被發(fā)起請(qǐng)求：

需要用到 urllib.parse

方法 1：使用quote函數(shù)

quote函數(shù)作用：對(duì)url中所存在的特殊字符進(jìn)行ASCII的編碼，把url中的非ascii編碼的字符單獨(dú)取出來(lái)，使用quote函數(shù)進(jìn)行轉(zhuǎn)碼，

轉(zhuǎn)碼之后，把轉(zhuǎn)碼的結(jié)果拼接到原有的url當(dāng)中。

import urllib.request
import urllib.parse
# 1.指定url
url = 'https://www.sogou.com/web?query=周杰倫'
word = urllib.parse.quote("周杰倫")
# 查看轉(zhuǎn)碼后結(jié)果
print(word)
# %E5%91%A8%E6%9D%B0%E4%BC%A6

from urllib.request import urlopen
import urllib.parse
# 1.指定url
url = 'https://www.sogou.com/web?query='
# url的特性：url不可以存在非ASCII編碼字符數(shù)據(jù)
word = urllib.parse.quote("周杰倫")
# 將編碼后的數(shù)據(jù)值拼接回url中
url = url+word # 有效url
'''
2.發(fā)起請(qǐng)求:使用urlopen函數(shù)對(duì)指定的url發(fā)起請(qǐng)求，
該函數(shù)返回一個(gè)響應(yīng)對(duì)象，urlopen代表打開(kāi)url
'''
response = urlopen(url=url)
# 3.獲取響應(yīng)對(duì)象中的頁(yè)面數(shù)據(jù):read函數(shù)可以獲取響應(yīng)對(duì)象中存儲(chǔ)的頁(yè)面數(shù)據(jù)(byte類(lèi)型的數(shù)據(jù)值)
page_text = response.read()
# 4.持久化存儲(chǔ)：將爬取的頁(yè)面數(shù)據(jù)寫(xiě)入文件進(jìn)行保存
with open("周杰倫.html","wb") as f:
  f.write(page_text)
print("寫(xiě)入數(shù)據(jù)成功")

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章: