python實現(xiàn)從web抓取文檔的方法
本文實例講述了Python實現(xiàn)從Web的一個URL中抓取文檔的方法,分享給大家供大家參考。具體方法分析如下:
實例代碼如下:
import urllib doc = urllib.urlopen("http://www.python.org").read() print doc#直接打印出網(wǎng)頁 def reporthook(*a): print a #將http://www.renren.com網(wǎng)頁保存到renre.html中, #每讀取一個塊調(diào)用一字reporthook函數(shù) urllib.urlretrieve("http://www.renren.com",'renren.html',reporthook) #將http://www.renren.com網(wǎng)頁保存到renre.html中 urllib.urlretrieve("http://www.renren.com",'renren.html')
程序運行結(jié)果如下:
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> ..........................網(wǎng)頁內(nèi)容 </body> </html> (0, 8192, -1) (1, 8192, -1) (2, 8192, -1)
其中urllib.urlopen返回一個類文件對象。
希望本文所述對大家的Python程序設(shè)計有所幫助。
- python實現(xiàn)udp數(shù)據(jù)報傳輸?shù)姆椒?/a>
- python使用Berkeley DB數(shù)據(jù)庫實例
- python實現(xiàn)在pickling的時候壓縮的方法
- python使用marshal模塊序列化實例
- python中類的一些方法分析
- python實現(xiàn)獲取序列中最小的幾個元素
- python中bisect模塊用法實例
- python實現(xiàn)給字典添加條目的方法
- python實現(xiàn)忽略大小寫對字符串列表排序的方法
- python對字典進行排序?qū)嵗?/a>
- python實現(xiàn)在無須過多援引的情況下創(chuàng)建字典的方法
- python求眾數(shù)問題實例
相關(guān)文章
基于Python PaddleSpeech實現(xiàn)語音文字處理
PaddleSpeech基于飛槳PaddlePaddle的語音方向的開源模型庫,用于語音和音頻中的各種關(guān)鍵任務(wù)的開發(fā),包含大量基于深度學(xué)習(xí)前沿和有影響力的模型。本文將介紹如何通過PaddleSpeech實現(xiàn)語音文字處理,感興趣的可以學(xué)習(xí)一下2022-01-01Python3.6+Django2.0以上 xadmin站點的配置和使用教程圖解
django自帶的admin站點雖然功能強大,但是界面不是很好看。這篇文章主要介紹了Python3.6+Django2.0以上 xadmin站點的配置和使用 ,本文圖文并茂給大家介紹的非常詳細(xì),具有一定的參考借鑒價值,需要的朋友可以參考下2019-06-06使用matlab或python將txt文件轉(zhuǎn)為excel表格
這篇文章主要介紹了matlab或python代碼將txt文件轉(zhuǎn)為excel表格,本文通過matlab代碼和python 代碼給大家詳細(xì)介紹,需要的朋友可以參考下2019-11-11最新解決'nvidia-smi' 不是內(nèi)部或外部命令也不是可運行的程序
使用cmd查看電腦顯卡的信息,調(diào)用nvidia-smi查看顯卡使用情況報錯,提示'nvidia-smi' 不是內(nèi)部或外部命令,也不是可運行的程序,本文給大家分享完美解決方案,感興趣的朋友跟隨小編一起看看吧2023-01-01Python-while 計算100以內(nèi)奇數(shù)和的方法
今天小編就為大家分享一篇Python-while 計算100以內(nèi)奇數(shù)和的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-06-06