python 獲取網(wǎng)頁(yè)編碼方式實(shí)現(xiàn)代碼
python 獲取網(wǎng)頁(yè)編碼方式實(shí)現(xiàn)代碼
<span style="font-family: Arial, Helvetica, sans-serif; background-color: rgb(255, 255, 255);"> </span><span style="font-family: Arial, Helvetica, sans-serif; background-color: rgb(255, 255, 255);"> python開(kāi)發(fā),自動(dòng)化獲取網(wǎng)頁(yè)編碼方式用到了chardet庫(kù),字符集檢測(cè),這個(gè)類在python2.7中沒(méi)有,需要在官網(wǎng)上下載。 這里我下載好了chardet-2.3.0.tar.gz壓縮包文件,只需要將壓縮包文件解壓后的chardet文件放到python安裝包下的 python27/lib/site-packages/下,就可以了。</span>
然后import chardet
下面寫(xiě)了一個(gè)自動(dòng)化檢測(cè)的函數(shù)供檢測(cè)Url連接,然后返回網(wǎng)頁(yè)url的編碼方式。
import chardet #字符集檢測(cè) import urllib url="http://www.jd.com" def automatic_detect(url): content=urllib.urlopen(url).read() result=chardet.detect(content) encoding=result['encoding'] return encoding urls=['http://www.baidu.com','http://www.163.com','http://dangdang.com'] for url in urls: print url,automatic_detect(url)
上面用到了chardet類的detect方法,返回字典,然后取出編碼方式encoding
感謝閱讀,希望能幫助到大家,謝謝大家對(duì)本站的支持!
- Python3使用requests包抓取并保存網(wǎng)頁(yè)源碼的方法
- 深度剖析使用python抓取網(wǎng)頁(yè)正文的源碼
- Python解析網(wǎng)頁(yè)源代碼中的115網(wǎng)盤(pán)鏈接實(shí)例
- Python天氣預(yù)報(bào)采集器實(shí)現(xiàn)代碼(網(wǎng)頁(yè)爬蟲(chóng))
- Python urllib、urllib2、httplib抓取網(wǎng)頁(yè)代碼實(shí)例
- Python實(shí)現(xiàn)多線程抓取網(wǎng)頁(yè)功能實(shí)例詳解
- python3實(shí)現(xiàn)抓取網(wǎng)頁(yè)資源的 N 種方法
- Python正則抓取新聞標(biāo)題和鏈接的方法示例
- Python正則抓取網(wǎng)易新聞的方法示例
- Python使用正則表達(dá)式抓取網(wǎng)頁(yè)圖片的方法示例
- python訪問(wèn)抓取網(wǎng)頁(yè)常用命令總結(jié)
- Python實(shí)現(xiàn)的下載網(wǎng)頁(yè)源碼功能示例
相關(guān)文章
python遍歷一個(gè)目錄,輸出所有的文件名的實(shí)例
下面小編就為大家分享一篇python遍歷一個(gè)目錄,輸出所有的文件名的實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-04-04Python使用requests模塊發(fā)送http請(qǐng)求的方法介紹
Python?Requests是一個(gè)?HTTP?庫(kù),它允許我們向?Web?服務(wù)器發(fā)送??HTTP?請(qǐng)求,并獲取響應(yīng)結(jié)果,本文將會(huì)詳細(xì)介紹Python?requests模塊如何發(fā)送http請(qǐng)求,文中有相關(guān)的代碼示例,需要的朋友可以參考下2023-06-06解決pycharm19.3.3安裝pyqt5找不到designer.exe和pyuic.exe的問(wèn)題
這篇文章給大家介紹了pycharm19.3.3安裝pyqt5&pyqt5-tools后找不到designer.exe和pyuic.exe以及配置QTDesigner和PyUIC的問(wèn)題,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友參考下吧2021-04-04教你一步步利用python實(shí)現(xiàn)貪吃蛇游戲
這篇文章主要給大家介紹了關(guān)于如何利用python實(shí)現(xiàn)貪吃蛇游戲的相關(guān)資料,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-06-06django創(chuàng)建最簡(jiǎn)單HTML頁(yè)面跳轉(zhuǎn)方法
今天小編就為大家分享一篇django創(chuàng)建最簡(jiǎn)單HTML頁(yè)面跳轉(zhuǎn)方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-08-08