淘寶網(wǎng)的賣家需要從海量的評價中尋找到有用的正面的和反面的信息，來幫助他進一步抓住顧客的心，分析顧客的購物心理有學者在twitter、微博等社交媒體上爬取信息來構建一個數(shù)據(jù)集，從而建立一個識別抑郁癥和自殺念頭的預測模型——讓更多需要援助的人得到幫助——當然我們也需要考慮到隱私相關的問題——但這很酷不是嗎？

作為一名人工智能工程師，他們從Ins上爬取志愿者所展示的喜好的圖片，來訓練深度學習模型，從而預測給出的圖像是否會被志愿者所喜好——手機制造商將這些模型納入他們的圖片應用程序中，推送給你。電商平臺的數(shù)據(jù)科學家爬取用戶瀏覽商品的信息，進行分析和預測，以便推送給用戶他最想要了解和購買的商品

是的！網(wǎng)絡爬蟲的應用十分廣泛，小到我們?nèi)粘Ｓ脕砼颗廊∫恍└咔宓谋诩垼瑘D片；大到人工智能、深度學習、商業(yè)策略制定的數(shù)據(jù)來源等。

這個時代是數(shù)據(jù)的時代，數(shù)據(jù)就是“新石油”

2. 網(wǎng)絡傳輸協(xié)議HTTP

沒錯，講到網(wǎng)絡爬蟲一定繞不開的就是這個HTTP，當然我們不需要像網(wǎng)絡工程師那樣詳細的了解協(xié)議定義的方方面面，但是作為入門我們還是得具有一定的認識才行

國際標準化組織ISO維護了開放式通信系統(tǒng)互聯(lián)參考模型OSI，而該模型將計算機通信結構分為七層

物理層：包括以太網(wǎng)協(xié)議、USB協(xié)議、藍牙協(xié)議等
數(shù)據(jù)鏈路層：包含以太網(wǎng)協(xié)議
網(wǎng)絡層：包含IP協(xié)議
傳輸層：包含TCP、UDP協(xié)議
會話層：包含用于打開/關閉和管理會話的協(xié)議
表示層：包含保護格式還和翻譯數(shù)據(jù)的協(xié)議
應用層：包含HTTP和DNS網(wǎng)絡服務協(xié)議

現(xiàn)在來看看HTTP請求和響應是什么樣子的（因為后面會涉及自定義請求頭）一般請求消息由一下內(nèi)容構成：

請求行
多個請求頭
空行
可選的消息主體

具體的請求消息：

GET https://www.baidu.com/?tn=80035161_1_dg HTTP/1.1
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: zh-Hans-CN,zh-Hans;q=0.8,en-GB;q=0.5,en;q=0.3
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18362
Accept-Encoding: gzip, deflate, br
Host: www.baidu.com
Connection: Keep-Alive

這個是訪問百度時的請求，當然里面的很多細節(jié)我們也不需要知道，因為python的request包會幫助我們完成我們的爬取

當然我們也能查看網(wǎng)頁對我們的請求返回的信息：

HTTP/1.1 200 OK //這邊的狀態(tài)碼為200表示我們的請求成功
Bdpagetype: 2
Cache-Control: private
Connection: keep-alive
Content-Encoding: gzip
Content-Type: text/html;charset=utf-8
Date: Sun, 09 Aug 2020 02:57:00 GMT
Expires: Sun, 09 Aug 2020 02:56:59 GMT
X-Ua-Compatible: IE=Edge,chrome=1
Transfer-Encoding: chunked

3. requests庫（不喜歡理論知識的同學們可以直接來這里哦）

我們知道其實python還預置了另外的處理HTTP的庫——urllib和urllib3，但是requests庫學起來更容易——代碼更簡潔易懂。當然當我們成功爬取下網(wǎng)頁時，將要將里面我們感興趣的東西提取出來的時候，我們會提到另一個十分有用的庫——美麗湯（Beautiful Soup）——這又是后話了

1. requests庫的安裝

這里我們可以直接找到requests的.whl文件安裝，也可以直接使用pip來安裝（當然如果有pycharm的同學可以直接從里面的環(huán)境加載中下載）

2. 實戰(zhàn)

下面我們開始正式爬取網(wǎng)頁

代碼如下：

import requests
target = 'https://www.baidu.com/'
get_url = requests.get(url=target)
print(get_url.status_code)
print(get_url.text)

輸出結果

200 //返回狀態(tài)碼200表示請求成功
<!DOCTYPE html>//這里刪除了很多內(nèi)容，實際上輸出的網(wǎng)頁信息比這要多得多
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;
charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge>
<meta content=always name=referrer>
<link rel=stylesheet type=text/css 
src=//www.baidu.com/img/gs.gif> 
</p> </div> </div> </div> </body> </html>

上面五行代碼做了很多事情，我們已經(jīng)可以將網(wǎng)頁的HTML內(nèi)容全部抓取

第一行代碼：加載requests庫第二行代碼：給出需要爬取的網(wǎng)站第三行代碼：使用requests進行請求一般的格式如下：

對象 = requests.get(url=你想要爬取的網(wǎng)站地址)

第四行代碼：返回請求的狀態(tài)碼第五行代碼：輸出相應的內(nèi)容主體

當然我們還可以打印更多的內(nèi)容

import requests

target = 'https://www.baidu.com/'
get_url = requests.get(url=target)
# print(get_url.status_code)
# print(get_url.text)
print(get_url.reason)//返回狀態(tài)
print(get_url.headers)
//返回HTTP響應中包含的服務器頭的內(nèi)容（和上面展示的內(nèi)容差不多）
print(get_url.request)
print(get_url.request.headers)//返回請求中頭的內(nèi)容

OK
{'Cache-Control': 'private, no-cache, no-store, proxy-revalidate, no-transform', 
'Connection': 'keep-alive', 
'Content-Encoding': 'gzip', 
'Content-Type': 'text/html', 
'Date': 'Sun, 09 Aug 2020 04:14:22 GMT',
'Last-Modified': 'Mon, 23 Jan 2017 13:23:55 GMT', 
'Pragma': 'no-cache', 
'Server': 'bfe/1.0.8.18', 
'Set-Cookie': 'BDORZ=27315; max-age=86400; domain=.baidu.com; path=/', 'Transfer-Encoding': 'chunked'}
<PreparedRequest [GET]>
{'User-Agent': 'python-requests/2.22.0', 
'Accept-Encoding': 'gzip, deflate', 
'Accept': '*/*', 
'Connection': 'keep-alive'}

基本的網(wǎng)頁抓取就完成了，但是如果我們想要解析我們抓取的HTML格式的網(wǎng)頁呢，我們還需要學習正則表達式、Beautiful Soup庫的應用，這些我們下個博客再講解吧

到此這篇關于關于Python網(wǎng)絡爬蟲requests庫的介紹的文章就介紹到這了,更多相關Python網(wǎng)絡爬蟲requests庫內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: