python 獲取網頁編碼方式實現(xiàn)代碼
更新時間:2017年03月11日 16:26:00 投稿:lqh
這篇文章主要介紹了python 獲取網頁編碼方式實現(xiàn)代碼的相關資料,需要的朋友可以參考下
python 獲取網頁編碼方式實現(xiàn)代碼
<span style="font-family: Arial, Helvetica, sans-serif; background-color: rgb(255, 255, 255);"> </span><span style="font-family: Arial, Helvetica, sans-serif; background-color: rgb(255, 255, 255);"> python開發(fā),自動化獲取網頁編碼方式用到了chardet庫,字符集檢測,這個類在python2.7中沒有,需要在官網上下載。 這里我下載好了chardet-2.3.0.tar.gz壓縮包文件,只需要將壓縮包文件解壓后的chardet文件放到python安裝包下的 python27/lib/site-packages/下,就可以了。</span>
然后import chardet
下面寫了一個自動化檢測的函數(shù)供檢測Url連接,然后返回網頁url的編碼方式。
import chardet #字符集檢測 import urllib url="http://www.jd.com" def automatic_detect(url): content=urllib.urlopen(url).read() result=chardet.detect(content) encoding=result['encoding'] return encoding urls=['http://www.baidu.com','http://www.163.com','http://dangdang.com'] for url in urls: print url,automatic_detect(url)
上面用到了chardet類的detect方法,返回字典,然后取出編碼方式encoding
感謝閱讀,希望能幫助到大家,謝謝大家對本站的支持!
您可能感興趣的文章:
- Python3使用requests包抓取并保存網頁源碼的方法
- 深度剖析使用python抓取網頁正文的源碼
- Python解析網頁源代碼中的115網盤鏈接實例
- Python天氣預報采集器實現(xiàn)代碼(網頁爬蟲)
- Python urllib、urllib2、httplib抓取網頁代碼實例
- Python實現(xiàn)多線程抓取網頁功能實例詳解
- python3實現(xiàn)抓取網頁資源的 N 種方法
- Python正則抓取新聞標題和鏈接的方法示例
- Python正則抓取網易新聞的方法示例
- Python使用正則表達式抓取網頁圖片的方法示例
- python訪問抓取網頁常用命令總結
- Python實現(xiàn)的下載網頁源碼功能示例
相關文章
Python使用requests模塊發(fā)送http請求的方法介紹
Python?Requests是一個?HTTP?庫,它允許我們向?Web?服務器發(fā)送??HTTP?請求,并獲取響應結果,本文將會詳細介紹Python?requests模塊如何發(fā)送http請求,文中有相關的代碼示例,需要的朋友可以參考下2023-06-06解決pycharm19.3.3安裝pyqt5找不到designer.exe和pyuic.exe的問題
這篇文章給大家介紹了pycharm19.3.3安裝pyqt5&pyqt5-tools后找不到designer.exe和pyuic.exe以及配置QTDesigner和PyUIC的問題,本文給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友參考下吧2021-04-04