C# 抓取網(wǎng)頁內(nèi)容的方法

更新時(shí)間：2013年04月27日 15:54:33 作者：

C# 抓取網(wǎng)頁內(nèi)容的方法，需要的朋友可以參考一下

1、抓取一般內(nèi)容

需要三個(gè)類：WebRequest、WebResponse、StreamReader

所需命名空間：System.Net、System.IO

核心代碼：

view plaincopy to clipboardprint?

WebRequest request = WebRequest.Create("http://www.dbjr.com.cn/");
WebResponse response = request.GetResponse();
StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("gb2312"));

WebRequest 類的 Create 為靜態(tài)方法，參數(shù)為要抓取的網(wǎng)頁的網(wǎng)址；

Encoding 指定編碼，Encoding 中有屬性 ASCII、UTF32、UTF8 等全球通用的編碼，但沒有 gb2312 這個(gè)編碼屬性，所以我們使用 GetEncoding 獲得 gb2312 編碼。

示例：

view plaincopy to clipboardprint?

復(fù)制代碼代碼如下:

<%@ Page Language="C#" %>
<%@ Import Namespace="System.Net" %>
<%@ Import Namespace="System.IO" %>
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<mce:script runat="server"></mce:script>
<html xmlns="http://www.w3.org/1999/xhtml" >
<head runat="server">
    <title>抓取網(wǎng)頁內(nèi)容 - 千一網(wǎng)絡(luò)</title>
</head>
<body>
    <form id="form1" runat="server">
    <div>
    <asp:TextBox ID="tb" runat="server" Width="500" Height="300" TextMode="multiLine"></asp:TextBox>
    </div>
    </form>
</body>
</html>

2 抓取網(wǎng)頁內(nèi)容－圖片

需要四個(gè)類：WebRequest、WebResponse、Stream、FileStream。

示例：

view plaincopy to clipboardprint?

復(fù)制代碼代碼如下:

<%@ Page Language="C#" %>
<%@ Import Namespace="System.Net" %>
<%@ Import Namespace="System.IO" %>
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<mce:script runat="server"></mce:script>
<html xmlns="http://www.w3.org/1999/xhtml" >
<head runat="server">
    <title>抓取網(wǎng)頁圖片并保存 - 千一網(wǎng)絡(luò)</title>
</head>
<body>
    <form id="form1" runat="server">
    <div>
    <asp:TextBox ID="tb" runat="server" Width="500" Height="300" TextMode="multiLine"></asp:TextBox>
    </div>
    </form>
</body>
</html>

3 抓取網(wǎng)頁內(nèi)容－Post 數(shù)據(jù)

在抓取網(wǎng)頁時(shí)，有時(shí)候，需要將某些數(shù)據(jù)通過 Post 的方式發(fā)送到服務(wù)器，將以下代碼添加在網(wǎng)頁抓取的程序中，以實(shí)現(xiàn)將用戶名和密碼 Post 到服務(wù)器

view plaincopy to clipboardprint?

復(fù)制代碼代碼如下:

string data = "userName=admin&passwd=admin888";   
byte[] requestBuffer = System.Text.Encoding.GetEncoding("gb2312").GetBytes(data);   

request.Method = "POST";   
request.ContentType = "application/x-www-form-urlencoded";   
request.ContentLength = requestBuffer.Length;   
using (Stream requestStream = request.GetRequestStream())   
{   
    requestStream.Write(requestBuffer, 0, requestBuffer.Length);   
    requestStream.Close();   
}   

using (StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("gb2312")))   
{   
    string str = reader.ReadToEnd();   
    reader.Close();   
}  

4 抓取網(wǎng)頁內(nèi)容－防止重定向

在抓取網(wǎng)頁時(shí)，成功登錄服務(wù)器應(yīng)用系統(tǒng)后，應(yīng)用系統(tǒng)可能會(huì)通過 Response.Redirect 將網(wǎng)頁進(jìn)行重定向，如果不需要響應(yīng)這個(gè)重定向，那么，我們就不要把 reader.ReadToEnd() 給 Response.Write 出來，就可以了。

5 抓取網(wǎng)頁內(nèi)容－保持登錄狀態(tài)

利用 Post 數(shù)據(jù)成功登錄服務(wù)器應(yīng)用系統(tǒng)后，就可以抓取需要登錄的頁面了，那么我們就可能需要在多個(gè) Request 間保持登錄狀態(tài)。

首先，我們要使用 HttpWebRequest，而不是 WebRequest。

與 WebRequest 相比，變化的代碼是：

view plaincopy to clipboardprint?

復(fù)制代碼代碼如下:

HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create(url);

注意：HttpWebRequest.Create 返回的類型仍是 WebRequest，所以要轉(zhuǎn)化一下。

其次，使用 CookieContainer。

view plaincopy to clipboardprint?

復(fù)制代碼代碼如下:

System.Net.CookieContainer cc = new System.Net.CookieContainer();
request.CookieContainer = cc;
request2.CookieContainer = cc;

這樣 request 和 request2 之間就使用了相同的 Session，如果 request 登錄了，那么 request2 也是登錄狀態(tài)。

最后，如何在不同的頁面間使用同一個(gè) CookieContainer。

要在不同的頁面間使用同一個(gè) CookieContainer，只有把 CookieContainer 加入 Session。

復(fù)制代碼代碼如下:

view plaincopy to clipboardprint?
Session.Add("ccc", cc); //存

CookieContainer cc = (CookieContainer)Session["ccc"]; //取

5 抓取網(wǎng)頁內(nèi)容－把當(dāng)前會(huì)話帶到 WebRequest 中

比如說瀏覽器 B1 去訪問服務(wù)器端 S1，這會(huì)產(chǎn)生一個(gè)會(huì)話，而服務(wù)器端 S2 再用 WebRequest 去訪問服務(wù)器端 S1，這又會(huì)產(chǎn)生一個(gè)會(huì)話?，F(xiàn)在的需求是讓 WebRequest 使用瀏覽器 B1 與 S1 之間的會(huì)話，也就是說要讓 S1 認(rèn)為是 B1 在訪問 S1，而不是 S2 在訪問 S1。

這就要利用 Cookie 了，先在 S1 中取得與 B1 的 SessionID 的 Cookie，再將這個(gè) Cookie 告訴 S2，S2 再將 Cookie 寫在 WebRequest 中。

view plaincopy to clipboardprint?

復(fù)制代碼代碼如下:

WebRequest request = WebRequest.Create("url");
<SPAN class=key>request.Headers.Add(HttpRequestHeader.Cookie, "ASPSESSIONIDSCATBTAD=KNNDKCNBONBOOBIHHHHAOKDM;");</SPAN>
WebResponse response = request.GetResponse();
StreamReader reader = new StreamReader(response.GetResponseStream(), System.Text.Encoding.GetEncoding("gb2312"));
Response.Write(reader.ReadToEnd());
reader.Close();
reader.Dispose();
response.Close();

要說明的是：

本文并不是 Cookie 欺騙，因?yàn)?SessionID 是 S1 告訴 S2 的，并不是 S2 竊取的，雖然有些古怪，但這可能在一些特定的應(yīng)用系統(tǒng)中會(huì)有用。
S1 必須要向 B1 寫 Session，這樣 SessionID 才會(huì)保存到 Cookie 中，并且 SessionID 才會(huì)保持不變。
在 ASP.NET 中取 Cookie 用 Request.Cookies，本文假設(shè) Cookie 已經(jīng)取出來。
不同的服務(wù)器端語言，SessionID 在 Cookie 中上名稱并不一樣，本文是 ASP 的 SessionID。
S1 可能不僅僅依靠 SessionID 來判斷當(dāng)前登錄，它可能還會(huì)輔助于 Referer、User-Agent 等，這取決于 S1 端程序的設(shè)計(jì)。
其實(shí)本文算是本連載中“保持登錄狀態(tài)”的另一種方法。
6 抓取網(wǎng)頁內(nèi)容－如何更改來源 Referer 和 UserAgent

view plaincopy to clipboardprint?

復(fù)制代碼代碼如下:

SPAN class=caution>HttpWebRequest</SPAN> request = <SPAN class=caution>(HttpWebRequest)HttpWebRequest</SPAN>.Create("http://127.0.0.1/index.htm");
//request.Headers.Add(HttpRequestHeader.Referer, "http://www.dbjr.com.cn/"); // 錯(cuò)誤
//request.Headers[HttpRequestHeader.Referer] = "http://www.dbjr.com.cn/"; // 錯(cuò)誤
<SPAN class=caution>request.Referer</SPAN> = "http://www.dbjr.com.cn/"; // 正確

注釋掉的兩句是不對(duì)的，會(huì)發(fā)生錯(cuò)誤：

view plaincopy to clipboardprint?
此標(biāo)頭必須使用適當(dāng)?shù)膶傩赃M(jìn)行修改。
參數(shù)名: name
此標(biāo)頭必須使用適當(dāng)?shù)膶傩赃M(jìn)行修改。參數(shù)名: name

UserAgent 類似。

您可能感興趣的文章: