欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

C#使用ScrapySharp快速?gòu)木W(wǎng)頁采集數(shù)據(jù)

 更新時(shí)間：2022年06月27日 09:03:48   作者：天方  
這篇文章介紹了使用ScrapySharp快速?gòu)木W(wǎng)頁采集數(shù)據(jù)的方法，文中通過示例代碼介紹的非常詳細(xì)。對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下

ScrapySharp是一個(gè)幫助我們快速實(shí)現(xiàn)網(wǎng)頁數(shù)據(jù)采集的庫(kù)，它主要提供了如下兩個(gè)功能

  • 從Url獲取Html數(shù)據(jù)

  • 提供CSS選擇器的方式解析Html節(jié)點(diǎn)

安裝：

ScrapySharp可以直接從Nuget上下載，直接從Package Console里面輸入如下命令即可：

PM> Install-Package ScrapySharp

Html下載

首先我們來看看它的Html下載功能，它是通過ScrapingBrowser類來實(shí)現(xiàn)的：

var browser = new ScrapingBrowser();
var html = browser.DownloadString(new Uri("http://www.cnblogs.com/"));

這個(gè)只是一個(gè)簡(jiǎn)單的示例，實(shí)際上ScrapingBrowser的功能還是非常全面的，常見的功能如：Charset探測(cè)，AutoRedirect、Cache、 Proxy、Cookie、UserAgent、表單提交等都支持得非常好，用它來獲取網(wǎng)頁比HttClient要方便很多。

Html解析

ScrapySharp的Html解析是基于大名鼎鼎的HtmlAgilityPack來實(shí)現(xiàn)的，它主要提供了兩個(gè)擴(kuò)展函數(shù)CssSelect和CssSelect：

static IEnumerable<HtmlNode> CssSelect(this HtmlNode node, string expression);
static IEnumerable<HtmlNode> CssSelect(this IEnumerable<HtmlNode> nodes, string expression);
static IEnumerable<HtmlNode> CssSelectAncestors(this HtmlNode node, string expression);
static IEnumerable<HtmlNode> CssSelectAncestors(this IEnumerable<HtmlNode> nodes, string expression);

相比HtmlAgilityPack提供的層級(jí)式解析和Xpath方式的解析比起來，CSS選擇器的更為簡(jiǎn)單快捷，這里以解析博客園的首頁標(biāo)題為例，首先用開發(fā)者工具定位標(biāo)題，可以看到其HTML結(jié)構(gòu)的方式如下：

解析的代碼如下：

    var doc = new HtmlDocument();
    doc.LoadHtml(html);

    var docNode = doc.DocumentNode;

    var nodes = docNode.CssSelect(".titlelnk");
    foreach (var htmlNode in nodes)
    {
        Console.WriteLine(htmlNode.InnerText);
    }

其中關(guān)鍵代碼只有docNode.CssSelect(".titlelnk")一句，非常簡(jiǎn)潔。另外，由于CSS方式比較靈活，如下方式也能獲取到標(biāo)題

var nodes = docNode.CssSelect(".post_item_body > h3");
var nodes = docNode.CssSelect("div#post_list").CssSelectAncestors("h3");

最后，列舉一下常用的CSS查詢，以方便后續(xù)的使用：

    html.CssSelect("div"); //all div elements
    html.CssSelect("div.content"); //all div elements with css class 'content'
    html.CssSelect("div.widget.monthlist"); //all div elements with the both css class
    html.CssSelect("#postPaging"); //all HTML elements with the id postPaging
    html.CssSelect("div#postPaging.testClass");     // all HTML elements with the id postPaging and css class testClass
    html.CssSelect("div.content > p.para");     //p elements who are direct children of div elements with css class 'content'
    html.CssSelect("input[type = text].login");     // textbox with css class login

更多的CSS選擇器使用方法可以參看W3的網(wǎng)頁：CSS 選擇器參考手冊(cè)

到此這篇關(guān)于ScrapySharp快速采集數(shù)據(jù)的文章就介紹到這了。希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

相關(guān)文章

最新評(píng)論