判斷網(wǎng)頁編碼的方法python版
在web開發(fā)的時(shí)候我們經(jīng)常會(huì)遇到網(wǎng)頁抓取和分析，各種語言都可以完成這個(gè)功能。我喜歡用python實(shí)現(xiàn)，因?yàn)閜ython提供了很多成熟的模塊，可以很方便的實(shí)現(xiàn)網(wǎng)頁抓取。
但是在抓取過程中會(huì)遇到編碼的問題，那今天我們來看一下如何判斷網(wǎng)頁的編碼：
網(wǎng)上很多網(wǎng)頁的編碼格式都不一樣，大體上是GBK,GB2312，UTF-8等。
我們在獲取網(wǎng)頁的的數(shù)據(jù)后，先要對網(wǎng)頁的編碼進(jìn)行判斷，才能把抓取的內(nèi)容的編碼統(tǒng)一轉(zhuǎn)換為我們能夠處理的編碼，避免亂碼問題的出現(xiàn)。
下面介紹兩種判斷網(wǎng)頁編碼的方法：
總結(jié)：第二個(gè)方法很準(zhǔn)確，在網(wǎng)頁編碼分析的時(shí)候用python模塊分析內(nèi)容是最準(zhǔn)確的，而使用分析meta頭信息的方法是不太準(zhǔn)確的。
方法一：使用urllib模塊的getparam方法
import urllib
#autor：pythontab.com
fopen1 = urllib.urlopen('http://www.baidu.com').info()
print fopen1.getparam('charset')# baidu
方法二：使用chardet模塊
#如果你的python沒有安裝chardet模塊，你需要首先安裝一下chardet判斷編碼的模塊哦
#author:pythontab.com
import chardet
import urllib
#先獲取網(wǎng)頁內(nèi)容
data1 = urllib.urlopen('http://www.baidu.com').read()
#用chardet進(jìn)行內(nèi)容分析
chardit1 = chardet.detect(data1)
print chardit1['encoding'] # baidu
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
在本篇文章里小編給大家整理了一篇關(guān)于python超參數(shù)優(yōu)化的具體方法，有需要的朋友們可以學(xué)習(xí)下。2021-08-08
數(shù)組索引是指使用方括號（[]）來索引數(shù)組值,numpy提供了比常規(guī)的python序列更多的索引工具，除了按整數(shù)和切片索引之外，數(shù)組可以由整數(shù)數(shù)組索引、布爾索引及花式索引，這篇文章主要介紹了Python NumPy 數(shù)組索引,需要的朋友可以參考下2023-01-01
這篇文章主要為大家詳細(xì)介紹了python處理Excel的相關(guān)資料，xlrd的簡單使用，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2017-09-09
Python3.6基于正則實(shí)現(xiàn)的計(jì)算器示例【無優(yōu)化簡單注釋版】
這篇文章主要介紹了Python3.6基于正則實(shí)現(xiàn)的計(jì)算器,涉及Python基于正則表達(dá)式的算術(shù)式遍歷、查找及數(shù)學(xué)運(yùn)算相關(guān)操作技巧,需要的朋友可以參考下2018-06-06
Python 含參構(gòu)造函數(shù)實(shí)例詳解
這篇文章主要介紹了Python 含參構(gòu)造函數(shù)實(shí)例詳解的相關(guān)資料,需要的朋友可以參考下2017-05-05
使用scipy.optimize的fsolve,root函數(shù)求解非線性方程問題
這篇文章主要介紹了使用scipy.optimize的fsolve,root函數(shù)求解非線性方程問題，具有很好的參考價(jià)值，希望對大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-12-12
這篇文章主要介紹了使用OpenCV去除面積較小的連通域，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-07-07
這篇文章主要介紹了Python使用sorted排序的方法,結(jié)合三個(gè)實(shí)例分析了Python使用sorted方法進(jìn)行元素排序操作的相關(guān)實(shí)現(xiàn)技巧,需要的朋友可以參考下2017-07-07
淺談Python 釘釘報(bào)警必備知識系統(tǒng)講解
這篇文章主要介紹了淺談Python 釘釘報(bào)警必備知識系統(tǒng)講解，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-08-08
這篇文章主要介紹了Python中裝飾器使用方法整理,裝飾器是給現(xiàn)有的模塊增添新的小功能,可以對原函數(shù)進(jìn)行功能擴(kuò)展,而且還不需要修改原函數(shù)的內(nèi)容,也不需要修改原函數(shù)的調(diào)用,需要的朋友可以參考下2023-08-08