快捷導(dǎo)航

python3使用requests模塊爬取頁面內(nèi)容的實(shí)戰(zhàn)演練

更新時(shí)間：2017年09月25日 10:42:49 作者：Gavin丶Hsueh

本篇文章主要介紹了python3使用requests模塊爬取頁面內(nèi)容的實(shí)戰(zhàn)演練，具有一定的參考價(jià)值，有興趣的可以了解一下

1.安裝pip

我的個(gè)人桌面系統(tǒng)用的linuxmint，系統(tǒng)默認(rèn)沒有安裝pip，考慮到后面安裝requests模塊使用pip，所以我這里第一步先安裝pip。

$ sudo apt install python-pip

安裝成功，查看PIP版本：

$ pip -V

2.安裝requests模塊

這里我是通過pip方式進(jìn)行安裝：

$ pip install requests

運(yùn)行import requests，如果沒提示錯(cuò)誤，那說明已經(jīng)安裝成功了！

檢驗(yàn)是否安裝成功

3.安裝beautifulsoup4

Beautiful Soup 是一個(gè)可以從HTML或XML文件中提取數(shù)據(jù)的Python庫。它能夠通過你喜歡的轉(zhuǎn)換器實(shí)現(xiàn)慣用的文檔導(dǎo)航，查找、修改文檔的方式。Beautiful Soup會(huì)幫你節(jié)省數(shù)小時(shí)甚至數(shù)天的工作時(shí)間。

$ sudo apt-get install python3-bs4

注：這里我使用的是python3的安裝方式，如果你用的是python2,可以使用下面命令安裝。

$ sudo pip install beautifulsoup4

4.requests模塊淺析

1）發(fā)送請求

首先當(dāng)然是要導(dǎo)入 Requests 模塊：

>>> import requests

然后，獲取目標(biāo)抓取網(wǎng)頁。這里我以下為例：

>>> r = requests.get('http://www.dbjr.com.cn/article/124421.htm')

這里返回一個(gè)名為 r 的響應(yīng)對象。我們可以從這個(gè)對象中獲取所有我們想要的信息。這里的get是http的響應(yīng)方法，所以舉一反三你也可以將其替換為put、delete、post、head。

2）傳遞URL參數(shù)

有時(shí)我們想為 URL 的查詢字符串傳遞某種數(shù)據(jù)。如果你是手工構(gòu)建 URL，那么數(shù)據(jù)會(huì)以鍵/值對的形式置于 URL 中，跟在一個(gè)問號(hào)的后面。例如， cnblogs.com/get?key=val。 Requests 允許你使用 params 關(guān)鍵字參數(shù)，以一個(gè)字符串字典來提供這些參數(shù)。

舉例來說，當(dāng)我們google搜索“python爬蟲”關(guān)鍵詞時(shí)，newwindow(新窗口打開)、q及oq(搜索關(guān)鍵詞)等參數(shù)可以手工組成URL ，那么你可以使用如下代碼：

>>> payload = {'newwindow': '1', 'q': 'python爬蟲', 'oq': 'python爬蟲'}

>>> r = requests.get("https://www.google.com/search", params=payload)

3）響應(yīng)內(nèi)容

通過r.text或r.content來獲取頁面響應(yīng)內(nèi)容。

>>> import requests

>>> r = requests.get('https://github.com/timeline.json')

>>> r.text

Requests 會(huì)自動(dòng)解碼來自服務(wù)器的內(nèi)容。大多數(shù) unicode 字符集都能被無縫地解碼。這里補(bǔ)充一點(diǎn)r.text和r.content二者的區(qū)別，簡單說：

resp.text返回的是Unicode型的數(shù)據(jù)；

resp.content返回的是bytes型也就是二進(jìn)制的數(shù)據(jù)；

所以如果你想取文本，可以通過r.text，如果想取圖片，文件，則可以通過r.content。

4）獲取網(wǎng)頁編碼

>>> r = requests.get('http://www.cnblogs.com/')

>>> r.encoding

'utf-8'

5）獲取響應(yīng)狀態(tài)碼

我們可以檢測響應(yīng)狀態(tài)碼：

>>> r = requests.get('http://www.cnblogs.com/')

>>> r.status_code

200

5.案例演示

最近公司剛引入了一款OA系統(tǒng)，這里我以其官方說明文檔頁面為例，并且只抓取頁面中文章標(biāo)題和內(nèi)容等有用信息。

演示環(huán)境

操作系統(tǒng)：linuxmint

python版本：python 3.5.2

使用模塊：requests、beautifulsoup4

代碼如下：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
_author_ = 'GavinHsueh'

import requests
import bs4

#要抓取的目標(biāo)頁碼地址
url = 'http://www.ranzhi.org/book/ranzhi/about-ranzhi-4.html'

#抓取頁碼內(nèi)容，返回響應(yīng)對象
response = requests.get(url)

#查看響應(yīng)狀態(tài)碼
status_code = response.status_code

#使用BeautifulSoup解析代碼,并鎖定頁碼指定標(biāo)簽內(nèi)容
content = bs4.BeautifulSoup(response.content.decode("utf-8"), "lxml")
element = content.find_all(id='book')

print(status_code)
print(element)

程序運(yùn)行返回爬去結(jié)果：

抓取成功

關(guān)于爬去結(jié)果亂碼問題

其實(shí)起初我是直接用的系統(tǒng)默認(rèn)自帶的python2操作的，但在抓取返回內(nèi)容的編碼亂碼問題上折騰了老半天，google了多種解決方案都無效。在被python2“整瘋“之后，只好老老實(shí)實(shí)用python3了。對于python2的爬取頁面內(nèi)容亂碼問題，歡迎各位前輩們分享經(jīng)驗(yàn)，以幫助我等后生少走彎路。

后記

python的爬蟲相關(guān)模塊有很多，除了requests模塊，再如urllib和pycurl以及tornado等。相比而言，我個(gè)人覺得requests模塊是相對簡單易上手的了。通過文本，大家可以迅速學(xué)會(huì)使用python的requests模塊爬取頁碼內(nèi)容。本人能力有限，如果文章有任何錯(cuò)誤歡迎不吝賜教，其次如果大家有任何關(guān)于python爬去頁面內(nèi)容的疑難雜問，也歡迎和大家一起交流討論。

以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章: