Python讀取網(wǎng)頁內(nèi)容的方法
本文實例講述了Python讀取網(wǎng)頁內(nèi)容的方法。分享給大家供大家參考。具體如下:
import urllib2 #encoding = utf-8 class Crawler: def main(self): #req = urllib2.Request('http://www.baidu.com/') #req.add_header('User-Agent', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:5.0)') #urllib2.socket.setdefaulttimeout(10) # 超時10秒 #page = urllib2.urlopen(req) page = urllib2.urlopen('http://www.google.com', timeout=10) data = page.read() print data print len(data) #計算字節(jié)長度 if __name__ == '__main__': me=Crawler() me.main()
希望本文所述對大家的Python程序設(shè)計有所幫助。
- python打開url并按指定塊讀取網(wǎng)頁內(nèi)容的方法
- Python讀取本地文件并解析網(wǎng)頁元素的方法
- Python中文分詞工具之結(jié)巴分詞用法實例總結(jié)【經(jīng)典案例】
- Python 結(jié)巴分詞實現(xiàn)關(guān)鍵詞抽取分析
- python jieba分詞并統(tǒng)計詞頻后輸出結(jié)果到Excel和txt文檔方法
- python使用jieba實現(xiàn)中文分詞去停用詞方法示例
- python中文分詞教程之前向最大正向匹配算法詳解
- Python基于jieba庫進行簡單分詞及詞云功能實現(xiàn)方法
- python實現(xiàn)中文分詞FMM算法實例
- Python中文分詞實現(xiàn)方法(安裝pymmseg)
- python中文分詞,使用結(jié)巴分詞對python進行分詞(實例講解)
- python實現(xiàn)的讀取網(wǎng)頁并分詞功能示例
相關(guān)文章
Python中的復(fù)制操作及copy模塊中的淺拷貝與深拷貝方法
淺拷貝和深拷貝是Python基礎(chǔ)學(xué)習(xí)中必須辨析的知識點,這里我們將為大家解析Python中的復(fù)制操作及copy模塊中的淺拷貝與深拷貝方法:2016-07-07使用Python編寫一個最基礎(chǔ)的代碼解釋器的要點解析
Python、Ruby等語言代碼就是在解釋器程序中一行行被解釋為機器碼同步執(zhí)行的,而如果使用Python編寫解釋器的話則可以把目標代碼解釋為Python代碼再進行解釋執(zhí)行,這里我們就來看一下使用Python編寫一個最基礎(chǔ)的代碼解釋器的要點解析:2016-07-07Python實現(xiàn)115網(wǎng)盤自動下載的方法
這篇文章主要介紹了Python實現(xiàn)115網(wǎng)盤自動下載的方法,可實現(xiàn)自動調(diào)用115客戶端進行下載的功能,非常實用,需要的朋友可以參考下2014-09-09python爬蟲開發(fā)之使用python爬蟲庫requests,urllib與今日頭條搜索功能爬取搜索內(nèi)容實例
這篇文章主要介紹了python爬蟲開發(fā)之使用python爬蟲庫requests,urllib與今日頭條搜索功能爬取搜索內(nèi)容實例,需要的朋友可以參考下2020-03-03Keras設(shè)定GPU使用內(nèi)存大小方式(Tensorflow backend)
這篇文章主要介紹了Keras設(shè)定GPU使用內(nèi)存大小方式(Tensorflow backend),具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-05-05Python基于unittest實現(xiàn)測試用例執(zhí)行
這篇文章主要介紹了Python基于unittest實現(xiàn)測試用例執(zhí)行,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-11-11零基礎(chǔ)學(xué)習(xí)python偏函數(shù)語法的推導(dǎo)方法步驟
這篇文章主要介紹了零基礎(chǔ)學(xué)習(xí)python偏函數(shù)語法的推導(dǎo)方法步驟詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-06-06