Web抓取
Web站點使用HTML描述，這意味著每個web頁面是一個結構化的文檔。有時從中 獲取數(shù)據(jù)同時保持它的結構是有用的。web站點不總是以容易處理的格式， 如 csv 或者 json 提供它們的數(shù)據(jù)。

這正是web抓取出場的時機。Web抓取是使用計算機程序將web頁面數(shù)據(jù)進行收集 并整理成所需格式,同時保存其結構的實踐。

lxml和Requests
lxml（http://lxml.de/）是一個優(yōu)美的擴展庫，用來快速解析XML以及HTML文檔 即使所處理的標簽非?；靵y。我們也將使用 Requests （http://docs.python-requests.org/en/latest/#）模塊取代內(nèi)建的urllib2模塊，因為其速度更快而且可讀性更好。你可以通過使用 pip install lxml 與 pip install requests 命令來安裝這兩個模塊。

讓我們以下面的導入開始：

from lxml import html
import requests

下一步我們將使用 requests.get 來從web頁面中取得我們的數(shù)據(jù)， 通過使用 html 模塊解析它，并將結果保存到 tree 中。

page = requests.get('http://econpy.pythonanywhere.com/ex/001.html')
tree = html.fromstring(page.text)

tree 現(xiàn)在包含了整個HTML文件到一個優(yōu)雅的樹結構中，我們可以使用兩種 方法訪問：XPath以及CSS選擇器。在這個例子中，我們將選擇前者。

XPath是一種在結構化文檔（如HTML或XML）中定位信息的方式。一個關于XPath的 不錯的介紹參見 W3Schools 。

有很多工具可以獲取元素的XPath，如Firefox的FireBug或者Chrome的Inspector。 如果你使用Chrome，你可以右鍵元素，選擇 ‘Inspect element'，高亮這段代碼， 再次右擊，并選擇 ‘Copy XPath'。

在進行一次快速分析后，我們看到在頁面中的數(shù)據(jù)保存在兩個元素中，一個是title是 ‘buyer-name' 的div，另一個class是 ‘item-price' 的span：

<div title="buyer-name">Carson Busses</div>
<span class="item-price">$29.95</span>

知道這個后，我們可以創(chuàng)建正確的XPath查詢并且使用lxml的 xpath 函數(shù)， 像下面這樣：

#這將創(chuàng)建buyers的列表：
buyers = tree.xpath('//div[@title="buyer-name"]/text()')
#這將創(chuàng)建prices的列表：
prices = tree.xpath('//span[@class="item-price"]/text()')

讓我們看看我們得到了什么：

print 'Buyers: ', buyers
print 'Prices: ', prices
Buyers: ['Carson Busses', 'Earl E. Byrd', 'Patty Cakes',
'Derri Anne Connecticut', 'Moe Dess', 'Leda Doggslife', 'Dan Druff',
'Al Fresco', 'Ido Hoe', 'Howie Kisses', 'Len Lease', 'Phil Meup',
'Ira Pent', 'Ben D. Rules', 'Ave Sectomy', 'Gary Shattire',
'Bobbi Soks', 'Sheila Takya', 'Rose Tattoo', 'Moe Tell']

Prices: ['$29.95', '$8.37', '$15.26', '$19.25', '$19.25',
'$13.99', '$31.57', '$8.49', '$14.47', '$15.86', '$11.11',
'$15.98', '$16.27', '$7.50', '$50.85', '$14.26', '$5.68',
'$15.00', '$114.07', '$10.09']

恭喜！我們已經(jīng)成功地通過lxml與Request，從一個web頁面中抓取了所有我們想要的 數(shù)據(jù)。我們將它們以列表的形式存在內(nèi)存中。現(xiàn)在我們可以對它做各種很酷的事情了： 我們可以使用Python分析它，或者我們可以將之保存為一個文件并向世界分享。

我們可以考慮一些更酷的想法：修改這個腳本來遍歷該例數(shù)據(jù)集中剩余的頁面，或者 使用多線程重寫這個應用從而提升它的速度。

最新評論