解決Python網(wǎng)頁爬蟲之中文亂碼問題
更新時(shí)間：2018年05月11日 08:55:50 作者：ToringZZZ
今天小編就為大家分享一篇解決Python網(wǎng)頁爬蟲之中文亂碼問題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
Python是個(gè)好工具，但是也有其固有的一些缺點(diǎn)。最近在學(xué)習(xí)網(wǎng)頁爬蟲時(shí)就遇到了這樣一種問題，中文網(wǎng)站爬取下來的內(nèi)容往往中文顯示亂碼。看過我之前博客的同學(xué)可能知道，之前爬取的一個(gè)學(xué)校網(wǎng)頁就出現(xiàn)了這個(gè)問題，但是當(dāng)時(shí)并沒有解決，這著實(shí)成了我一個(gè)心病。這不，剛剛一解決就將這個(gè)方法公布與眾，大家一同分享。
首先，我說一下Python中文亂碼的原因，Python中文亂碼是由于Python在解析網(wǎng)頁時(shí)默認(rèn)用Unicode去解析，而大多數(shù)網(wǎng)站是utf-8格式的，并且解析出來之后，python竟然再以Unicode字符格式輸出，會(huì)與系統(tǒng)編碼格式不同，導(dǎo)致中文輸出亂碼，知道原因后我們就好解決了。下面上代碼，實(shí)驗(yàn)對(duì)象仍是被人上了無數(shù)遍的百度主頁~
# -*- coding: utf-8 -*-
import urllib2
import re
import requests
import sys
import urllib
#設(shè)置編碼
reload(sys)
sys.setdefaultencoding('utf-8')
#獲得系統(tǒng)編碼格式
type = sys.getfilesystemencoding()
r = urllib.urlopen("http://www.baidu.com")
#將網(wǎng)頁以u(píng)tf-8格式解析然后轉(zhuǎn)換為系統(tǒng)默認(rèn)格式
a = r.read().decode('utf-8').encode(type)
print a
最后輸出效果，中文完美輸出
以上這篇解決Python網(wǎng)頁爬蟲之中文亂碼問題就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了Python中splitlines()方法的使用簡介,是Python入門中的基礎(chǔ)知識(shí),需要的朋友可以參考下2015-05-05
selenium+unittest實(shí)現(xiàn)web自動(dòng)化的示例代碼
本文主要介紹了selenium+unittest實(shí)現(xiàn)web自動(dòng)化的示例代碼，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-03-03
這篇文章主要為大家介紹了自己制作python包并通過pip上傳pypi實(shí)現(xiàn)過程詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-09-09
Python?Selenium無法打開Chrome瀏覽器處理自定義瀏覽器路徑的問題及解決方法
Python?Selenium控制Chrome瀏覽器的過程中,由于安裝的Chrome瀏覽器的版本找不到對(duì)應(yīng)版本的驅(qū)動(dòng)chromedriver.exe文件,下載了小幾個(gè)版本號(hào)的驅(qū)動(dòng)軟件都無法正常使用,下面通過本文介紹Python?Selenium無法打開Chrome瀏覽器處理自定義瀏覽器路徑的問題,需要的朋友可以參考下2024-08-08
在Python編程中，get()函數(shù)是字典（Dictionary）對(duì)象中非常有用的函數(shù)，本文將詳細(xì)介紹get()函數(shù)的用法及示例代碼，感興趣的可以了解一下2023-11-11
這篇文章主要介紹了python 爬蟲 簡單實(shí)現(xiàn)百度翻譯的示例，幫助大家更好的理解和使用python 爬蟲，感興趣的朋友可以了解下2020-11-11
這篇文章主要介紹了Python語言描述連續(xù)子數(shù)組的最大和，具有一定借鑒價(jià)值,需要的朋友可以參考下2018-01-01
這篇文章主要介紹了Python tkinter和exe打包的方法，本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-02-02
異常值檢測(cè)各個(gè)領(lǐng)域的關(guān)鍵任務(wù)之一,PyOD是Python Outlier Detection的縮寫,可以簡化多變量數(shù)據(jù)集中識(shí)別異常值的過程,在本文中,我們將介紹PyOD包,并通過實(shí)際給出詳細(xì)的代碼示例2024-02-02
這篇文章主要介紹了pandas獲取對(duì)應(yīng)的行或者列方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-02-02