python3中編碼獲取網(wǎng)頁(yè)的實(shí)例方法
學(xué)了python后，之前一些我們常用的方法，也可以換一種思路用python中的知識(shí)來(lái)解決。相信操作出來(lái)后，能收獲一大批小粉絲們。就像我們沒(méi)學(xué)習(xí)編程之前，看到那種大神都是可望而不可即。今天我們就之前簡(jiǎn)單獲取網(wǎng)頁(yè)的這種操作用python中的編碼來(lái)解決，大家可以自行體會(huì)一下兩者的不同。
1. encoding和apparent_encoding
import scrapy url="https://www.xxx.net/html/gndy/dyzz/index.html" re=requests.get(url) #獲取響應(yīng)頭Content-Type的charset值，有的網(wǎng)站沒(méi)有charset字段，就可能使用默認(rèn)的 ISO-8859-1 print(re.encoding) #apparent_encoding就是獲取網(wǎng)站真實(shí)的編碼 print(re.apparent_encoding)
2. 處理方案
直接用r.encoding = ‘xxx'
re.encoding='utf-8'
3. requests的text() 跟 content() 有什么區(qū)別
re.text返回的是處理過(guò)的Unicode型的數(shù)據(jù)，
而使用re.content返回的是bytes型的原始數(shù)據(jù)。
4. 爬蟲拿到的HTML和瀏覽器中的源碼不相同時(shí)
通過(guò)下載源碼對(duì)比
import requests
url = 'https://www.xxx.net/html/gndy/dyzz/index.html'
r = requests.get(url)
r.encoding = r.apparent_encoding
html = r.text
with open('test.html','w',encoding='utf8') as f:
f.write(html)
到此這篇關(guān)于python3中編碼獲取網(wǎng)頁(yè)的實(shí)例方法的文章就介紹到這了,更多相關(guān)python3中編碼如何獲取網(wǎng)頁(yè)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
- Python 編碼規(guī)范(Google Python Style Guide)
- python 編碼規(guī)范整理
- Python 常用 PEP8 編碼規(guī)范詳解
- Python開發(fā)編碼規(guī)范
- Python3 json模塊之編碼解碼方法講解
- 解決python3 中的np.load編碼問(wèn)題
- python源文件的字符編碼知識(shí)點(diǎn)詳解
- Python新建項(xiàng)目自動(dòng)添加介紹和utf-8編碼的方法
- 關(guān)于Python字符編碼與二進(jìn)制不得不說(shuō)的一些事
- 詳解Python中的編碼問(wèn)題（encoding與decode、str與bytes）
- Python2與Python3關(guān)于字符串編碼處理的差別總結(jié)
- Python 忽略文件名編碼的方法
- python基礎(chǔ)之編碼規(guī)范總結(jié)
相關(guān)文章
Python實(shí)現(xiàn)修改Excel文件的元數(shù)據(jù)
這篇文章將通過(guò)使用Python、Openpyxl模塊以及wxPython庫(kù)，實(shí)現(xiàn)創(chuàng)建一個(gè)GUI界面來(lái)輸入元數(shù)據(jù)，然后將這些元數(shù)據(jù)與Excel文件一起保存，感興趣的可以了解一下2023-04-04
深度學(xué)習(xí)Tensorflow2.8實(shí)現(xiàn)GRU文本生成任務(wù)詳解
這篇文章主要為大家介紹了深度學(xué)習(xí)Tensorflow?2.8?實(shí)現(xiàn)?GRU?文本生成任務(wù)示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-01-01
PyCharm2018 安裝及破解方法實(shí)現(xiàn)步驟
這篇文章主要介紹了PyCharm2018 安裝及破解方法實(shí)現(xiàn)步驟，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2019-09-09![pandas如何將datetime64[ns]轉(zhuǎn)為字符串日期](http://img.jbzj.com/images/xgimg/bcimg3.png)
pandas如何將datetime64[ns]轉(zhuǎn)為字符串日期
這篇文章主要介紹了pandas如何將datetime64[ns]轉(zhuǎn)為字符串日期，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-07-07
python學(xué)習(xí)手冊(cè)中的python多態(tài)示例代碼
多態(tài)是面向?qū)ο笳Z(yǔ)言的一個(gè)基本特性，多態(tài)意味著變量并不知道引用的對(duì)象是什么，根據(jù)引用對(duì)象的不同表現(xiàn)不同的行為方式，下面使用一個(gè)示例學(xué)習(xí)他的使用方法2014-01-01
使用 Python 的 pprint庫(kù)格式化和輸出列表和字典的方法
pprint是"pretty-print"的縮寫，使用 Python 的標(biāo)準(zhǔn)庫(kù) pprint 模塊，以干凈的格式輸出和顯示列表和字典等對(duì)象，這篇文章主要介紹了如何使用 Python 的 pprint庫(kù)格式化和輸出列表和字典,需要的朋友可以參考下2023-05-05
今天小編就為大家分享一篇在PyCharm下使用 ipython 交互式編程的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-01-01
用Python獲取攝像頭并實(shí)時(shí)控制人臉的實(shí)現(xiàn)示例
這篇文章主要介紹了用Python獲取攝像頭并實(shí)時(shí)控制人臉的實(shí)現(xiàn)示例，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-07-07
解決pycharm debug時(shí)界面下方不出現(xiàn)step等按鈕及變量值的問(wèn)題
這篇文章主要介紹了解決pycharm debug時(shí)界面下方不出現(xiàn)step等按鈕及變量值的問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-06-06
Tensorflow卷積實(shí)現(xiàn)原理+手寫python代碼實(shí)現(xiàn)卷積教程
這篇文章主要介紹了Tensorflow卷積實(shí)現(xiàn)原理+手寫python代碼實(shí)現(xiàn)卷積教程，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-05-05