Python簡單實現(xiàn)網(wǎng)頁內(nèi)容抓取功能示例
本文實例講述了Python簡單實現(xiàn)網(wǎng)頁內(nèi)容抓取功能。分享給大家供大家參考,具體如下:
使用模塊:
import urllib2 import urllib
普通抓取實例:
#!/usr/bin/python # -*- coding: UTF-8 -*- import urllib2 url = 'http://www.baidu.com' #創(chuàng)建request對象 request = urllib2.Request(url) #發(fā)送請求,獲取結(jié)果 try: response = urllib2.urlopen(request) except BaseException, err: print err exit() #獲取狀態(tài)碼,如果是200表示獲取成功 code = response.getcode() print code #讀取內(nèi)容 if 200 == code: content = response.read() print content
Get請求抓取實例:
#!/usr/bin/python # -*- coding: UTF-8 -*- import urllib2 import urllib #urllib2使用GET方式的請求 url = 'http://www.baidu.com/s' values = {'wd' : '車云'} # 必須編碼 data = urllib.urlencode(values) url = url + '?' + data print url #url == http://www.baidu.com/s?wd=%E8%BD%A6%E4%BA%91 #創(chuàng)建request對象 request = urllib2.Request(url) #發(fā)送請求,獲取結(jié)果 try: response = urllib2.urlopen(request) except BaseException, err: print err exit() #獲取狀態(tài)碼,如果是200表示獲取成功 code = response.getcode() print code #讀取內(nèi)容 if 200 == code: content = response.read() print content
更多關于Python相關內(nèi)容可查看本站專題:《Python Socket編程技巧總結(jié)》、《Python正則表達式用法總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對大家Python程序設計有所幫助。
相關文章
python中協(xié)程實現(xiàn)TCP連接的實例分析
在本篇文章中我們給大家分享了python中協(xié)程實現(xiàn)TCP連接的代碼示例內(nèi)容,有需要的朋友們可以跟著學習下。2018-10-10python opencv設置攝像頭分辨率以及各個參數(shù)的方法
下面小編就為大家分享一篇python opencv設置攝像頭分辨率以及各個參數(shù)的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-04-04Pycharm導入anaconda環(huán)境的教程圖解
這篇文章主要介紹了Pycharm導入anaconda環(huán)境的教程,本文通過圖文并茂的形式給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-07-07Python實現(xiàn)的微信好友數(shù)據(jù)分析功能示例
這篇文章主要介紹了Python實現(xiàn)的微信好友數(shù)據(jù)分析功能,結(jié)合實例形式分析了Python使用itchat、pandas、pyecharts等模塊針對微信好友數(shù)據(jù)進行統(tǒng)計與計算相關操作技巧,需要的朋友可以參考下2018-06-06