python實現從web抓取文檔的方法
更新時間：2014年09月26日 09:28:02 投稿：shichen2014
這篇文章主要介紹了python實現從web抓取文檔的方法,以抓取人人網頁面為例講述了完整的web文檔抓取方法,需要的朋友可以參考下
本文實例講述了Python實現從Web的一個URL中抓取文檔的方法，分享給大家供大家參考。具體方法分析如下：
實例代碼如下：
import urllib
doc = urllib.urlopen("http://www.python.org").read()
print doc#直接打印出網頁
def reporthook(*a):
print a
#將http://www.renren.com網頁保存到renre.html中，
#每讀取一個塊調用一字reporthook函數
urllib.urlretrieve("http://www.renren.com",'renren.html',reporthook)
#將http://www.renren.com網頁保存到renre.html中
urllib.urlretrieve("http://www.renren.com",'renren.html')
程序運行結果如下：
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> ..........................網頁內容 </body> </html> (0, 8192, -1) (1, 8192, -1) (2, 8192, -1)
其中urllib.urlopen返回一個類文件對象。
希望本文所述對大家的Python程序設計有所幫助。
相關文章
PaddleSpeech基于飛槳PaddlePaddle的語音方向的開源模型庫，用于語音和音頻中的各種關鍵任務的開發(fā)，包含大量基于深度學習前沿和有影響力的模型。本文將介紹如何通過PaddleSpeech實現語音文字處理，感興趣的可以學習一下2022-01-01
通常我們用 Python 繪制的都是二維平面圖,但有時也需要繪制三維場景圖,下面這篇文章主要給大家介紹了關于python繪制三維圖的相關資料,文中通過圖文介紹的非常詳細,需要的朋友可以參考下2022-08-08
Python3.6+Django2.0以上 xadmin站點的配置和使用教程圖解
django自帶的admin站點雖然功能強大，但是界面不是很好看。這篇文章主要介紹了Python3.6+Django2.0以上 xadmin站點的配置和使用 ，本文圖文并茂給大家介紹的非常詳細，具有一定的參考借鑒價值,需要的朋友可以參考下2019-06-06
Pycharm在使用過程中,Pycharm會生成大量緩存文件,而這些緩存文件默認存儲在C盤的用戶目錄里面,導致C盤空間被占用，本文主要介紹了pycharm轉移緩存目錄，感興趣的可以了解一下2023-10-10
使用matlab或python將txt文件轉為excel表格
這篇文章主要介紹了matlab或python代碼將txt文件轉為excel表格，本文通過matlab代碼和python 代碼給大家詳細介紹,需要的朋友可以參考下2019-11-11
最新解決'nvidia-smi' 不是內部或外部命令也不是可運行的程序
使用cmd查看電腦顯卡的信息，調用nvidia-smi查看顯卡使用情況報錯，提示'nvidia-smi' 不是內部或外部命令，也不是可運行的程序，本文給大家分享完美解決方案，感興趣的朋友跟隨小編一起看看吧2023-01-01
這篇文章主要為大家介紹了OpenAI?Function?Calling特性作用詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-07-07
本文給大家分享三種方法實現python打印中文字符的方法，代碼簡單易懂，非常不錯，具有一定的參考借鑒價值，需要的朋友參考下吧2018-08-08
這篇文章主要為大家詳細介紹了Python?NumPy中遍歷數組的方法，文中的示例代碼講解詳細，對我們學習Python有一定幫助，需要的可以參考一下2022-08-08
今天小編就為大家分享一篇Python-while 計算100以內奇數和的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-06-06