python3中編碼獲取網(wǎng)頁的實例方法

更新時間：2020年11月16日 08:34:01 作者：PYCN

在本篇文章里小編給大家整理了一篇關于python3中編碼獲取網(wǎng)頁的實例方法，有興趣的朋友們可以學習下。

學了python后，之前一些我們常用的方法，也可以換一種思路用python中的知識來解決。相信操作出來后，能收獲一大批小粉絲們。就像我們沒學習編程之前，看到那種大神都是可望而不可即。今天我們就之前簡單獲取網(wǎng)頁的這種操作用python中的編碼來解決，大家可以自行體會一下兩者的不同。

1. encoding和apparent_encoding

import scrapy
url="https://www.xxx.net/html/gndy/dyzz/index.html"
re=requests.get(url)
#獲取響應頭Content-Type的charset值，有的網(wǎng)站沒有charset字段，就可能使用默認的 ISO-8859-1
print(re.encoding)
#apparent_encoding就是獲取網(wǎng)站真實的編碼
print(re.apparent_encoding)

2. 處理方案

直接用r.encoding = ‘xxx'

re.encoding='utf-8'

3. requests的text() 跟 content() 有什么區(qū)別

re.text返回的是處理過的Unicode型的數(shù)據(jù)，

而使用re.content返回的是bytes型的原始數(shù)據(jù)。

4. 爬蟲拿到的HTML和瀏覽器中的源碼不相同時

通過下載源碼對比

import requests
url = 'https://www.xxx.net/html/gndy/dyzz/index.html'
r = requests.get(url)
r.encoding = r.apparent_encoding
html = r.text
with open('test.html','w',encoding='utf8') as f:
f.write(html)

到此這篇關于python3中編碼獲取網(wǎng)頁的實例方法的文章就介紹到這了,更多相關python3中編碼如何獲取網(wǎng)頁內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

您可能感興趣的文章:

Python實現(xiàn)修改Excel文件的元數(shù)據(jù)
這篇文章將通過使用Python、Openpyxl模塊以及wxPython庫，實現(xiàn)創(chuàng)建一個GUI界面來輸入元數(shù)據(jù)，然后將這些元數(shù)據(jù)與Excel文件一起保存，感興趣的可以了解一下
2023-04-04
深度學習Tensorflow2.8實現(xiàn)GRU文本生成任務詳解
這篇文章主要為大家介紹了深度學習Tensorflow?2.8?實現(xiàn)?GRU?文本生成任務示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪
2023-01-01
PyCharm2018 安裝及破解方法實現(xiàn)步驟
這篇文章主要介紹了PyCharm2018 安裝及破解方法實現(xiàn)步驟，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
2019-09-09
pandas如何將datetime64[ns]轉(zhuǎn)為字符串日期
這篇文章主要介紹了pandas如何將datetime64[ns]轉(zhuǎn)為字符串日期，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
2022-07-07
python學習手冊中的python多態(tài)示例代碼
多態(tài)是面向?qū)ο笳Z言的一個基本特性，多態(tài)意味著變量并不知道引用的對象是什么，根據(jù)引用對象的不同表現(xiàn)不同的行為方式，下面使用一個示例學習他的使用方法
2014-01-01
使用 Python 的 pprint庫格式化和輸出列表和字典的方法
pprint是"pretty-print"的縮寫，使用 Python 的標準庫 pprint 模塊，以干凈的格式輸出和顯示列表和字典等對象，這篇文章主要介紹了如何使用 Python 的 pprint庫格式化和輸出列表和字典,需要的朋友可以參考下
2023-05-05
在PyCharm下使用 ipython 交互式編程的方法
今天小編就為大家分享一篇在PyCharm下使用 ipython 交互式編程的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2019-01-01
用Python獲取攝像頭并實時控制人臉的實現(xiàn)示例
這篇文章主要介紹了用Python獲取攝像頭并實時控制人臉的實現(xiàn)示例，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2019-07-07
解決pycharm debug時界面下方不出現(xiàn)step等按鈕及變量值的問題
這篇文章主要介紹了解決pycharm debug時界面下方不出現(xiàn)step等按鈕及變量值的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-06-06
Tensorflow卷積實現(xiàn)原理+手寫python代碼實現(xiàn)卷積教程
這篇文章主要介紹了Tensorflow卷積實現(xiàn)原理+手寫python代碼實現(xiàn)卷積教程，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-05-05