C#使用ScrapySharp快速?gòu)木W(wǎng)頁(yè)采集數(shù)據(jù)
ScrapySharp是一個(gè)幫助我們快速實(shí)現(xiàn)網(wǎng)頁(yè)數(shù)據(jù)采集的庫(kù),它主要提供了如下兩個(gè)功能
從Url獲取Html數(shù)據(jù)
提供CSS選擇器的方式解析Html節(jié)點(diǎn)
安裝:
ScrapySharp可以直接從Nuget上下載,直接從Package Console里面輸入如下命令即可:
PM> Install-Package ScrapySharp
Html下載
首先我們來(lái)看看它的Html下載功能,它是通過(guò)ScrapingBrowser類(lèi)來(lái)實(shí)現(xiàn)的:
var browser = new ScrapingBrowser(); var html = browser.DownloadString(new Uri("http://www.cnblogs.com/"));
這個(gè)只是一個(gè)簡(jiǎn)單的示例,實(shí)際上ScrapingBrowser的功能還是非常全面的,常見(jiàn)的功能如:Charset探測(cè),AutoRedirect、Cache、 Proxy、Cookie、UserAgent、表單提交等都支持得非常好,用它來(lái)獲取網(wǎng)頁(yè)比HttClient要方便很多。
Html解析
ScrapySharp的Html解析是基于大名鼎鼎的HtmlAgilityPack來(lái)實(shí)現(xiàn)的,它主要提供了兩個(gè)擴(kuò)展函數(shù)CssSelect和CssSelect:
static IEnumerable<HtmlNode> CssSelect(this HtmlNode node, string expression); static IEnumerable<HtmlNode> CssSelect(this IEnumerable<HtmlNode> nodes, string expression); static IEnumerable<HtmlNode> CssSelectAncestors(this HtmlNode node, string expression); static IEnumerable<HtmlNode> CssSelectAncestors(this IEnumerable<HtmlNode> nodes, string expression);
相比HtmlAgilityPack提供的層級(jí)式解析和Xpath方式的解析比起來(lái),CSS選擇器的更為簡(jiǎn)單快捷,這里以解析博客園的首頁(yè)標(biāo)題為例,首先用開(kāi)發(fā)者工具定位標(biāo)題,可以看到其HTML結(jié)構(gòu)的方式如下:
解析的代碼如下:
var doc = new HtmlDocument(); doc.LoadHtml(html); var docNode = doc.DocumentNode; var nodes = docNode.CssSelect(".titlelnk"); foreach (var htmlNode in nodes) { Console.WriteLine(htmlNode.InnerText); }
其中關(guān)鍵代碼只有docNode.CssSelect(".titlelnk")一句,非常簡(jiǎn)潔。另外,由于CSS方式比較靈活,如下方式也能獲取到標(biāo)題
var nodes = docNode.CssSelect(".post_item_body > h3"); var nodes = docNode.CssSelect("div#post_list").CssSelectAncestors("h3");
最后,列舉一下常用的CSS查詢,以方便后續(xù)的使用:
html.CssSelect("div"); //all div elements html.CssSelect("div.content"); //all div elements with css class 'content' html.CssSelect("div.widget.monthlist"); //all div elements with the both css class html.CssSelect("#postPaging"); //all HTML elements with the id postPaging html.CssSelect("div#postPaging.testClass"); // all HTML elements with the id postPaging and css class testClass html.CssSelect("div.content > p.para"); //p elements who are direct children of div elements with css class 'content' html.CssSelect("input[type = text].login"); // textbox with css class login
更多的CSS選擇器使用方法可以參看W3的網(wǎng)頁(yè):CSS 選擇器參考手冊(cè)
到此這篇關(guān)于ScrapySharp快速采集數(shù)據(jù)的文章就介紹到這了。希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
C#通過(guò)委托調(diào)用Button單擊事件的方法
本文給大家分享的是通過(guò)委托取消Button事件switch-case的方法,十分的簡(jiǎn)單實(shí)用,有需要的小伙伴可以參考下。2015-05-05C#逐行分元素讀取記事本數(shù)據(jù)并寫(xiě)入數(shù)據(jù)庫(kù)的方法
這篇文章主要介紹了C#逐行分元素讀取記事本數(shù)據(jù)并寫(xiě)入數(shù)據(jù)庫(kù)的方法,通過(guò)StreamReader類(lèi)里的ReadLine()方法實(shí)現(xiàn)逐行讀取的功能,是非常實(shí)用的技巧,需要的朋友可以參考下2014-12-12vscode設(shè)置Fira_Code字體及改變編輯器字體、背景顏色的代碼詳解
這篇文章主要介紹了vscode設(shè)置Fira_Code字體及改變編輯器字體、背景顏色,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-08-08C#取得Web程序和非Web程序的根目錄的N種取法總結(jié)
C#取得Web程序和非Web程序的根目錄的N種取法,方便大家知道,有更好的方法,請(qǐng)說(shuō)明2008-03-03