c# 使用HtmlAgilityPack解析Html

更新時間：2020年12月14日 09:05:31 作者：傅小灰

這篇文章主要介紹了c# 如何使用HtmlAgilityPack解析Html，幫助大家利用c#進行爬蟲，感興趣的朋友可以了解下

HtmlAgilityPack 是一個開源的快速解析Html的C#類庫。簡單理解，它可以像解析Xml一樣，將Html根據(jù)XPATH轉(zhuǎn)化為一個個Node節(jié)點，并支持調(diào)整節(jié)點以及節(jié)點的各種屬性。

傳送門：官網(wǎng) | Github源碼

多種方式加載Html

主要加載方式有3類：從網(wǎng)絡鏈接加載、從字符串文本中加載、從文件加載

var doc = new HtmlDocument();
//直接通過url加載
doc = new HtmlWeb().Load("https://www.baidu.com/");
//通過字符串加載
doc.LoadHtml(result);
//通過html文件加載 可指定編碼方式
doc.Load(@"c://index.html",Encoding.UTF8)

HtmlNode常用方法

使用SelectNodes()和SelectSingleNode()方法（類似解析XML格式數(shù)據(jù)的XmlDocument）來獲取的目標節(jié)點，分別對應HtmlNodeCollection和HtmlNode兩個類。

"http://"表示從根節(jié)點開始查找，兩個斜杠"http://"表示查找所有childnodes；一個斜杠"/"表示只查找第一層的childnodes（即不查找grandchild）；點斜杠"./"表示從當前結點而不是根結點開始查找（只在xpath最開始出現(xiàn)）

注意:

id class 屬性匹配大小寫敏感
xpath匹配下標從1開始

1. 通過屬性和路徑匹配來選擇對應的節(jié)點

var node = doc.DocumentNode;

//選擇不包含class屬性的div節(jié)點
var result = node.SelectNodes(".//div[not(@class)]");

//選擇不包含class和id屬性的div節(jié)點
var result = node.SelectNodes(".//div[not(@class) and not(@id)]");

//選擇class中包含"expire"的span節(jié)點
var result = node.SelectNodes(".//span[contains(@class,'expire')]");

//選擇class中不包含"expire"的span節(jié)點
var result = node.SelectNodes(".//span[not(contains(@class,'expire'))]");

//選擇class="expire"的span節(jié)點
var result = node.SelectNodes(".//span[@class='expire']");

//選擇id="expire"的div節(jié)點下第一個div節(jié)點
var result = node.SelectSingleNode(".//div[@id='expire']/div[1]");

2. 獲取節(jié)點文本內(nèi)容

根據(jù)需求不同，通過不同的方式來獲取相應的文本內(nèi)容。
OuterHtml:返回包含當前節(jié)點在內(nèi)的所有Html
InnerHtml:返回當前節(jié)點內(nèi)所有子節(jié)點Html
InnerText:返回當前節(jié)點內(nèi)去除所有Html后的文本內(nèi)容

<div id="title">
  <p>
   <a class="MainTitle"  rel="external nofollow" rel="external nofollow" rel="external nofollow" >傅小灰</a>
  </p>
</div>

以上面的Html為例

var node= doc.DocumentNode.SelectSingleNode("http://div[@id='title'/p]");

node.OuterHtml; //返回結果：<p><a class="MainTitle" rel="external nofollow" rel="external nofollow" rel="external nofollow" >傅小灰</a></p>

node.InnerHtml; //返回結果：<a class="MainTitle" rel="external nofollow" rel="external nofollow" rel="external nofollow" >傅小灰</a>

node.InnerText; //返回結果：傅小灰

3. 獲取/修改節(jié)點屬性值

以上面的Html舉例,我們獲取到了a標簽為node節(jié)點。我們想要獲取a標簽指向的鏈接地址，并修改為我們設定的地址。這里以href屬性舉例，同樣可以用在class/src/id等屬性上。

var node= doc.DocumentNode.SelectSingleNode("http://div[@id='title'/p/a]");

//第二個參數(shù)為找不到對應屬性時返回的默認值
var url = node.GetAttributeValue("href", "");//返回結果：https://www.cnblogs.com/cplemom/

//設置屬性值
node.SetAttributeValue("href", "http://www.cplemom.com/");

//獲取所有屬性值
var list = node.Attributes.ToList();

4. 刪除/替換節(jié)點

繼續(xù)以上面的Html舉例,我們獲取到了a標簽為node節(jié)點。
對于我們不需要的內(nèi)容，我們只需要調(diào)用節(jié)點Remove方法即可。

var node= doc.DocumentNode.SelectSingleNode("http://div[@id='title'/p/a]");

node.Remove();//刪除節(jié)點

一個很常見的場景就是我們需要移除a標簽，但是要在html上下文中保留a標簽的文本。
PS : a標簽內(nèi)的文本在HtmlDocument中其實是一個text類型的node節(jié)點。所以我們可以通過刪除a標簽，保留text標簽的方式來完成目標。

node.ParentNode.RemoveChild(node,true);

true表示留下a標簽的子節(jié)點只刪除a標簽，在這里就表示保留下“傅小灰”text節(jié)點; false表示將此結點連同所有子節(jié)點一起刪除。

換個角度思考下，當前node節(jié)點代表的是單個a標簽，那么如果p標簽下存在多個a標簽需要處理，或者node節(jié)點指向的就是p標簽呢？當然，我們可以通過獲取所有a標簽然后循環(huán)處理的方式來實現(xiàn)，但是還有沒有別的更好的處理方式呢？

這里提供一個思路，獲取所有的文本內(nèi)容，新建為一個text節(jié)點，然后替換掉當前節(jié)點。

node.ParentNode.ReplaceChild(HtmlNode.CreateNode(item.InnerText), node);

幾個常見使用場景和解決方案

1. 獲取所有的img標簽

//通過Descendants獲取所有的子后代節(jié)點中的img標簽
var list = node.Descendants("img");


//通過Xpath匹配獲取所有img標簽
var list = node.SelectNodes("http://img");

2. 通過url訪問時需要攜帶cookie等驗證信息

有些頁面需要攜帶驗證信息才能訪問，比如用戶中心，訂單列表等，這時候直接通過HtmlWeb類獲取html會被拒絕。有個簡單的方式就是通過HttpClient請求到對應的html內(nèi)容，再使用HtmlDocument加載。其實HtmlWeb說白了也是封裝的HttpWebRequest進行網(wǎng)絡請求的，所以暴露一個委托給外部用以修改請求上下文。

var web = new HtmlWeb();
web.PreRequest = new HtmlWeb.PreRequestHandler(GetRequest);
var node = web.Load("https://www.cplemom.com/");

public static bool GetRequest(HttpWebRequest req)
{
  req.Headers.Add("Host", "www.cplemom.com");
	req.Headers.Add("Cookie", "xxxxxxxxxxxxx");
  return true;
}