欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

解決Python網(wǎng)頁爬蟲之中文亂碼問題

 更新時間:2018年05月11日 08:55:50   作者:ToringZZZ  
今天小編就為大家分享一篇解決Python網(wǎng)頁爬蟲之中文亂碼問題,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧

Python是個好工具,但是也有其固有的一些缺點。最近在學習網(wǎng)頁爬蟲時就遇到了這樣一種問題,中文網(wǎng)站爬取下來的內(nèi)容往往中文顯示亂碼??催^我之前博客的同學可能知道,之前爬取的一個學校網(wǎng)頁就出現(xiàn)了這個問題,但是當時并沒有解決,這著實成了我一個心病。這不,剛剛一解決就將這個方法公布與眾,大家一同分享。

首先,我說一下Python中文亂碼的原因,Python中文亂碼是由于Python在解析網(wǎng)頁時默認用Unicode去解析,而大多數(shù)網(wǎng)站是utf-8格式的,并且解析出來之后,python竟然再以Unicode字符格式輸出,會與系統(tǒng)編碼格式不同,導致中文輸出亂碼,知道原因后我們就好解決了。下面上代碼,實驗對象仍是被人上了無數(shù)遍的百度主頁~

# -*- coding: utf-8 -*-

import urllib2
import re
import requests
import sys

import urllib
#設置編碼
reload(sys)
sys.setdefaultencoding('utf-8')
#獲得系統(tǒng)編碼格式
type = sys.getfilesystemencoding()
r = urllib.urlopen("http://www.baidu.com")
#將網(wǎng)頁以utf-8格式解析然后轉換為系統(tǒng)默認格式
a = r.read().decode('utf-8').encode(type)
print a

最后輸出效果,中文完美輸出

以上這篇解決Python網(wǎng)頁爬蟲之中文亂碼問題就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。

相關文章

  • Python中splitlines()方法的使用簡介

    Python中splitlines()方法的使用簡介

    這篇文章主要介紹了Python中splitlines()方法的使用簡介,是Python入門中的基礎知識,需要的朋友可以參考下
    2015-05-05
  • selenium+unittest實現(xiàn)web自動化的示例代碼

    selenium+unittest實現(xiàn)web自動化的示例代碼

    本文主要介紹了selenium+unittest實現(xiàn)web自動化的示例代碼,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2023-03-03
  • 自制python包并通過pip上傳pypi

    自制python包并通過pip上傳pypi

    這篇文章主要為大家介紹了自己制作python包并通過pip上傳pypi實現(xiàn)過程詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
    2023-09-09
  • Python?Selenium無法打開Chrome瀏覽器處理自定義瀏覽器路徑的問題及解決方法

    Python?Selenium無法打開Chrome瀏覽器處理自定義瀏覽器路徑的問題及解決方法

    Python?Selenium控制Chrome瀏覽器的過程中,由于安裝的Chrome瀏覽器的版本找不到對應版本的驅動chromedriver.exe文件,下載了小幾個版本號的驅動軟件都無法正常使用,下面通過本文介紹Python?Selenium無法打開Chrome瀏覽器處理自定義瀏覽器路徑的問題,需要的朋友可以參考下
    2024-08-08
  • Python字典操作得力助手Get()函數(shù)的使用

    Python字典操作得力助手Get()函數(shù)的使用

    在Python編程中,get()函數(shù)是字典(Dictionary)對象中非常有用的函數(shù),本文將詳細介紹get()函數(shù)的用法及示例代碼,感興趣的可以了解一下
    2023-11-11
  • python 爬蟲如何實現(xiàn)百度翻譯

    python 爬蟲如何實現(xiàn)百度翻譯

    這篇文章主要介紹了python 爬蟲 簡單實現(xiàn)百度翻譯的示例,幫助大家更好的理解和使用python 爬蟲,感興趣的朋友可以了解下
    2020-11-11
  • Python語言描述連續(xù)子數(shù)組的最大和

    Python語言描述連續(xù)子數(shù)組的最大和

    這篇文章主要介紹了Python語言描述連續(xù)子數(shù)組的最大和,具有一定借鑒價值,需要的朋友可以參考下
    2018-01-01
  • Python tkinter和exe打包的方法

    Python tkinter和exe打包的方法

    這篇文章主要介紹了Python tkinter和exe打包的方法,本文給大家介紹的非常詳細,具有一定的參考借鑒價值,需要的朋友可以參考下
    2020-02-02
  • PyOD進行異常值檢測使用實例

    PyOD進行異常值檢測使用實例

    異常值檢測各個領域的關鍵任務之一,PyOD是Python Outlier Detection的縮寫,可以簡化多變量數(shù)據(jù)集中識別異常值的過程,在本文中,我們將介紹PyOD包,并通過實際給出詳細的代碼示例
    2024-02-02
  • pandas獲取對應的行或者列方式

    pandas獲取對應的行或者列方式

    這篇文章主要介紹了pandas獲取對應的行或者列方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
    2024-02-02

最新評論