python爬蟲基本知識(shí)
爬蟲簡(jiǎn)介
根據(jù)百度百科定義：網(wǎng)絡(luò)爬蟲（又被稱為網(wǎng)頁(yè)蜘蛛，網(wǎng)絡(luò)機(jī)器人，在FOAF社區(qū)中間，更經(jīng)常的稱為網(wǎng)頁(yè)追逐者），是一種按照一定的規(guī)則，自動(dòng)地抓取萬(wàn)維網(wǎng)信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動(dòng)索引、模擬程序或者蠕蟲。
隨著大數(shù)據(jù)的不斷發(fā)展，爬蟲這個(gè)技術(shù)慢慢走入人們的視野，可以說(shuō)爬蟲是大數(shù)據(jù)應(yīng)運(yùn)而生的產(chǎn)物，至少我解除了大數(shù)據(jù)才了解到爬蟲這一技術(shù)
隨著數(shù)據(jù)的海量增長(zhǎng)，我們需要在互聯(lián)網(wǎng)上選取所需要的數(shù)據(jù)進(jìn)行自己研究的分析和實(shí)驗(yàn)。這就用到了爬蟲這一技術(shù)，下面就跟著小編一起初遇python爬蟲！
一、請(qǐng)求-響應(yīng)
在利用python語(yǔ)言實(shí)現(xiàn)爬蟲時(shí)，主要用到了urllib和urllib2兩個(gè)庫(kù)。首先用一段代碼說(shuō)明如下：
import urllib import urllib2 url="http://www.baidu.com" request=urllib2.Request(url) response=urllib2.urlopen(request) print response.read()
我們知道一個(gè)網(wǎng)頁(yè)就是以html為骨架，js為肌肉，css為衣服所構(gòu)成的。上述代碼所實(shí)現(xiàn)的功能就是把百度網(wǎng)頁(yè)的源碼爬取到本地。
其中，url為要爬取的網(wǎng)頁(yè)的網(wǎng)址；request發(fā)出請(qǐng)求，response是接受請(qǐng)求后給出的響應(yīng)。最后用read（）函數(shù)輸出的就是百度網(wǎng)頁(yè)的源碼。
二、GET-POST
兩者都是向網(wǎng)頁(yè)傳遞數(shù)據(jù)，最重要的區(qū)別是GET方式是直接以鏈接形式訪問(wèn)，鏈接中包含了所有的參數(shù)，當(dāng)然如果包含了密碼的話是一種不安全的選擇，不過(guò)你可以直觀地看到自己提交了什么內(nèi)容。
POST則不會(huì)在網(wǎng)址上顯示所有的參數(shù)，不過(guò)如果你想直接查看提交了什么就不太方便了，大家可以酌情選擇。
POST方式：
import urllib
import urllib2
values={'username':'2680559065@qq.com','Password':'XXXX'}
data=urllib.urlencode(values)
url='https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn'
request=urllib2.Request(url,data)
response=urllib2.urlopen(request)
print response.read()
GET方式：
import urllib
import urllib2
values={'username':'2680559065@qq.com','Password':'XXXX'}
data=urllib.urlencode(values)
url = "http://passport.csdn.net/account/login"
geturl = url + "?"+data
request=urllib2.Request(geturl)
response=urllib2.urlopen(request)
print response.read()
三、異常處理
處理異常時(shí)，用到了try-except語(yǔ)句。
import urllib2
try:
response=urllib2.urlopen("http://www.xxx.com")
except urllib2.URLError,e:
print e.reason
總結(jié)
以上所述是小編給大家介紹的python爬蟲基本知識(shí)，希望對(duì)大家有所幫助，如果大家有任何疑問(wèn)請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持！
相關(guān)文章
Django 全局的static和templates的使用詳解
這篇文章主要介紹了Django 全局的static和templates的使用詳解,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-07-07
Python實(shí)現(xiàn)刪除重復(fù)視頻文件的方法詳解
這篇文章主要為大家詳細(xì)介紹了如何利用Python實(shí)現(xiàn)刪除重復(fù)視頻文件功能，文中的示例代碼講解詳細(xì)，對(duì)我們學(xué)習(xí)Python有一定幫助，需要的可以參考一下2022-10-10
Python3-異步進(jìn)程回調(diào)函數(shù)(callback())介紹
這篇文章主要介紹了Python3-異步進(jìn)程回調(diào)函數(shù)(callback())介紹，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-05-05
這篇文章主要給大家介紹了在Django同1個(gè)頁(yè)面中的多表單處理的相關(guān)資料，文章先給大家介紹了如何快速上手Django實(shí)現(xiàn)項(xiàng)目的方法，方便讓大家理解和學(xué)習(xí)，需要的朋友可以參考借鑒，下面來(lái)一起看看吧。2017-01-01
今天小編就為大家分享一篇opencv3/C++圖像像素操作詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-12-12
這篇文章主要介紹了python opencv之分水嶺算法示例，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-02-02
TensorFlow實(shí)現(xiàn)自定義Op方式
今天小編就為大家分享一篇TensorFlow實(shí)現(xiàn)自定義Op方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-02-02
這篇文章主要介紹了python metaclass（元類）的相關(guān)資料，幫助大家更好的理解和學(xué)習(xí)，感興趣的朋友可以了解下2020-08-08
這篇文章主要介紹了python中的閉包函數(shù),非常不錯(cuò)，具有參考借鑒價(jià)值，需要的朋友可以參考下2018-02-02
這篇文章主要介紹了python在控制臺(tái)輸出進(jìn)度條的方法,實(shí)例分析了Python輸出進(jìn)度條效果的方法,需要的朋友可以參考下2015-06-06