快捷導(dǎo)航

使用C#獲取網(wǎng)頁(yè)HTML源碼的例子

更新時(shí)間：2014年08月13日 10:07:12 投稿：junjie

這篇文章主要介紹了使用C#獲取網(wǎng)頁(yè)HTML源碼的例子,考慮了區(qū)分GB2312和UTF-8編碼,需要的朋友可以參考下

最近在做一個(gè)項(xiàng)目，其中一個(gè)功能是根據(jù)一個(gè)URL地址，獲取到網(wǎng)頁(yè)的源代碼。在ASP.NET(C#)中，獲取網(wǎng)頁(yè)源代碼貌似有很多種方法，我隨便搞了一個(gè)簡(jiǎn)單的WebClient，非常簡(jiǎn)單容易。但后面一個(gè)非常惱火的問題出來(lái)了，那就是中文的亂碼。

通過仔細(xì)研究，中文的網(wǎng)頁(yè)不外乎GB2312和UTF-8這兩種編碼。于是有了下面這段代碼：

復(fù)制代碼代碼如下:

       /// <summary>

       /// 根據(jù)網(wǎng)址的URL，獲取源代碼HTML

       /// </summary>

       /// <param name="url"></param>

       /// <returns></returns>

       public static string GetHtmlByUrl(string url)

       {

           using (WebClient wc = new WebClient())

           {

               try

               {

                   wc.UseDefaultCredentials = true;

                   wc.Proxy = new WebProxy();

                   wc.Proxy.Credentials = CredentialCache.DefaultCredentials;

                   wc.Credentials = System.Net.CredentialCache.DefaultCredentials;

                   byte[] bt = wc.DownloadData(url);

                   string txt = System.Text.Encoding.GetEncoding("GB2312").GetString(bt);

                   switch (GetCharset(txt).ToUpper())

                   {

                       case "UTF-8":

                           txt = System.Text.Encoding.UTF8.GetString(bt);

                           break;

                       case "UNICODE":

                           txt = System.Text.Encoding.Unicode.GetString(bt);

                           break;

                       default:

                           break;

                   }

                   return txt;

               }

               catch (Exception ex)

               {

                   return null;

               }

           }

       }

稍微解釋一下，這里使用了WebClient創(chuàng)建了一個(gè)wc對(duì)象（這命名有點(diǎn)尷尬了）。然后調(diào)用wc對(duì)象的DownloadData方法，傳入U(xiǎn)RL值，返回一個(gè)字節(jié)數(shù)組。默認(rèn)使用GB2312來(lái)讀取這個(gè)字節(jié)數(shù)組，把它轉(zhuǎn)換成字符串。從網(wǎng)頁(yè)源代碼的字符串中查找網(wǎng)頁(yè)的編碼格式的特征字符，如找到charset="utf-8"這樣的信息，來(lái)判斷當(dāng)前網(wǎng)頁(yè)的編碼格式。

GetCharset這個(gè)函數(shù)就是來(lái)獲取當(dāng)前網(wǎng)頁(yè)的編碼格式的，具體代碼如下：

復(fù)制代碼代碼如下:

      /// <summary>

       /// 從HTML中獲取獲取charset

       /// </summary>

       /// <param name="html"></param>

       /// <returns></returns>

       public static string GetCharset(string html)

       {

           string charset = "";

           Regex regCharset = new Regex(@"content=[""'].*\s*charset\b\s*=\s*""?(?<charset>[^""']*)", RegexOptions.IgnoreCase);

           if (regCharset.IsMatch(html))

           {

               charset = regCharset.Match(html).Groups["charset"].Value;

           }

           if (charset.Equals(""))

           {

               regCharset = new Regex(@"<\s*meta\s*charset\s*=\s*[""']?(?<charset>[^""']*)", RegexOptions.IgnoreCase);

               if (regCharset.IsMatch(html))

               {

                   charset = regCharset.Match(html).Groups["charset"].Value;

               }

           }

           return charset;

       }