欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

利用正則表達(dá)式抓取博客園列表數(shù)據(jù)

 更新時間:2015年09月28日 10:04:08   作者:baidixing  
這篇文章主要介紹了利用正則表達(dá)式抓取博客園列表數(shù)據(jù)的相關(guān)資料,需要的朋友可以參考下

鑒于我在要完成的asp.net MVC 3 仿照博客園企業(yè)系統(tǒng)要用到測試數(shù)據(jù),我自己輸入太累,所以我就抓取了博客園的部分列表數(shù)據(jù),還請dudu不要見怪。

在抓取博客園數(shù)據(jù)的時候采用了正則表達(dá)式,所以有不熟悉正則表達(dá)式的朋友可以參考相關(guān)資料,其實(shí)很容易掌握,就是在具體的實(shí)例中會花些時間。

現(xiàn)在我就來把我抓取博客園數(shù)據(jù)的過程敘述一下,如果有朋友有更好的意見,歡迎提出來。

要使用正則表達(dá)式抓取數(shù)據(jù),首先就要創(chuàng)建一個正則表達(dá)式進(jìn)行匹配,我推薦使用regulator,這個正則表達(dá)式工具,我們可以先使用這個工具把我們要使用的正則表達(dá)式拼接出來,然后在程序中使用。

我發(fā)現(xiàn)博客園的首頁列表可以通過http://www.cnblogs.com/p1,p2...這種方式來直接訪問,這樣我們就可以直接通過url獲取數(shù)據(jù),而不用模擬數(shù)據(jù)點(diǎn)擊事件來虛擬的點(diǎn)擊下一頁的那個按鈕獲取數(shù)據(jù),更加方便。因?yàn)槲业哪康木褪亲ト∫恍?shù)據(jù),所以就簡單點(diǎn)。

1.首先就是要寫對應(yīng)的sql Helper類,相信這是很多程序員都會掌握的,無非就是增刪改查的操作。在創(chuàng)建好了sqlhelper類之后,我們就可以開始進(jìn)行抓取數(shù)據(jù)的邏輯處理。

2.創(chuàng)建BlogRegexController

public class BlogRegexController : Controller
   {
     public void ExecuteRegex()
     {
       string strBaseUrl = "http://www.cnblogs.com/p"; //定義博客園可以訪問的列表數(shù)據(jù)的基地址
       for (int i = ; i <= ; i++)//因?yàn)椴┛蛨@首頁列表最大只有頁,所以我們這個循環(huán)就執(zhí)行次
       {
         string strUrl = strBaseUrl + i.ToString();
         BlogRege blogRegex = new BlogRege(); //定義的具體的Regex類 抓取博客園地址
         string result = blogRegex.SendUrl(strUrl);
         blogRegex.AnalysisHtml(result);
 
         Response.Write("獲取成功");
       }
     }
 
     //
     // GET: /BlogRegex/
 
     public ActionResult Index()
     {
       ExecuteRegex();
       return View();
     }
 
   }

在controller中的ExecuteRegex()方法就是執(zhí)行抓取博客園列表數(shù)據(jù)的功臣。

3.首先就是其中定義的BlogRege類,他負(fù)責(zé)抓取博客園列表數(shù)據(jù)并將其插入到數(shù)據(jù)庫中

public class BlogRege
   {   //負(fù)責(zé)把數(shù)據(jù)插入到數(shù)據(jù)庫中 使用到的是sqlhelper類
     public void Insert(string title, string content,string linkurl, int categoryID = )
     {
       SqlHelper helper = new SqlHelper();
       helper.Insert(title, content, categoryID,linkurl);
     }
     /// <summary>
     /// 通過Url地址獲取具體網(wǎng)頁內(nèi)容 發(fā)起一個請求獲得html內(nèi)容
     /// </summary>
     /// <param name="strUrl"></param>
     /// <returns></returns>
     public string SendUrl(string strUrl)
     {
       try
       {
         WebRequest webRequest = WebRequest.Create(strUrl);
         WebResponse webResponse = webRequest.GetResponse();
         StreamReader reader = new StreamReader(webResponse.GetResponseStream());
         string result = reader.ReadToEnd();
         return result;
       }
       catch (Exception ex)
       {
         throw ex;
       }
     }
     /// <summary>
     /// 分析Html 解析出里面具體的數(shù)據(jù)
     /// </summary>
     /// <param name="htmlContent"></param>
     public void AnalysisHtml(string htmlContent)
     {//這個就是我在regulator正則表達(dá)式工具中拼接獲取到的正則表達(dá)式 還有一點(diǎn)請注意就是轉(zhuǎn)義字符的問題
       string strPattern = "<div\\s*class=\"post_item\">\\s*.*\\s*.*\\s*.*\\s*.*\\s*.*\\s*.*\\s*.*\\s*<div\\s*class=\"post_item_body\">\\s*<h><a\\s*class=\"titlelnk\"\\s*href=\"(?<href>.*)\"\\s*target=\"_blank\">(?<title>.*)</a>.*\\s*<p\\s*class=\"post_item_summary\">\\s*(?<content>.*)\\s*</p>";
       Regex regex = new Regex(strPattern, RegexOptions.IgnoreCase | RegexOptions.Multiline | RegexOptions.CultureInvariant);
       if (regex.IsMatch(htmlContent))
       {
         MatchCollection matchCollection = regex.Matches(htmlContent);
         foreach (Match match in matchCollection)
         {
           string title = match.Groups[].Value;//獲取到的是列表數(shù)據(jù)的標(biāo)題
           string content = match.Groups[].Value;//獲取到的是內(nèi)容
           string linkurl=match.Groups[].Value;//獲取到的是鏈接到的地址
          Insert(title, content,linkurl);//執(zhí)行插入到數(shù)據(jù)庫的操作
         }
       }
     }
   }

4.通過上面的代碼我們可以很輕松的從博客園中獲取我們用來測試的數(shù)據(jù),方便快捷,而且真實(shí),比我們手動輸入的速度要快很多。

正則表達(dá)式其實(shí)不應(yīng)該算是一種語言,只能算是一種語法,因?yàn)槿魏蔚恼Z言包括C#,javascript等語言都對正則表達(dá)式有很好的支持,只是他們的使用語法稍有不同,其實(shí)只要我們可以正確的拼接出正則表達(dá)式,那么我們抓取任何網(wǎng)站的內(nèi)容都可以很輕松的做到。前一段我試著抓取了淘寶的數(shù)據(jù),一共抓取了有幾百萬條,我想應(yīng)該還有很多沒有抓取到,不得不佩服淘寶,數(shù)據(jù)量太大。

回到我們使用的C#語言上,其實(shí)對正則表達(dá)式也有著非常好的支持,Regex就是用來對正則表達(dá)式進(jìn)行操作的類,所有的對正則表達(dá)式的操作都在這個類中。

如果你對正則表達(dá)式還不是太熟悉,網(wǎng)上有一篇正則表達(dá)式30分鐘入門教程,大家可以參考一下,寫的很不錯。再加上使用一個正則表達(dá)式工具,相信可以抓取到任何你想的內(nèi)容。

在拼接正則表達(dá)式的時候,可能會花費(fèi)很長時間,畢竟要分析html結(jié)構(gòu),從中抓取內(nèi)容。希望大家可以沉住氣,因?yàn)橹灰齽t表達(dá)式拼接正確,那么一定可以抓取正確的內(nèi)容。

為了避免大家說只說不做,那么我就把我抓取的博客園首頁內(nèi)容秀一下,因?yàn)椴┛蛨@首頁數(shù)據(jù)會有更新,所以大家可以看到這些數(shù)據(jù)都是在博客園中順序存在的。

博客園每頁列表是20條,一共200頁,所以一共是4000條。數(shù)據(jù)抓取正確。

我以前說過,只是會代碼的程序員不一定是合格程序員,程序員應(yīng)該盡可能的減少自己的工作量,因?yàn)槲覀兌际歉咧巧痰娜恕K晕覀儜?yīng)該積極的學(xué)習(xí)各種對我們的工作有幫助的框架或者是方法,比如IOC、Entity Framework或Nhibernate框架來減輕我們開發(fā)維護(hù)代碼的負(fù)擔(dān),畢竟我們聽到需求要更改的反映,一般都是憤怒,然后大罵,最后才是修改。有些框架能夠幫助我們,給我們維護(hù)代碼帶來好心情,何樂而不為呢。

我最后說一句,因?yàn)槲乙_發(fā)一個簡單的仿照博客園的網(wǎng)站(MVC3),所以會用到各種技術(shù)準(zhǔn)備,我提前寫出來把這些要用到的內(nèi)容整理一下,為以后的開發(fā)加速。

下一次,我準(zhǔn)備整理一下在MVC中使用文本編輯器KindEditor的方法,希望大家如果有好的意見或者資料可以提供一下,讓我也增加一些見識。謝謝各位

相關(guān)文章

  • ubbcode簡單實(shí)用

    ubbcode簡單實(shí)用

    ubbcode簡單實(shí)用...
    2006-06-06
  • 又一不錯的應(yīng)用-正則來查找替換字符串

    又一不錯的應(yīng)用-正則來查找替換字符串

    又一不錯的應(yīng)用-正則來查找替換字符串...
    2007-08-08
  • 正則表達(dá)式簡介及在C++11中的簡單使用教程

    正則表達(dá)式簡介及在C++11中的簡單使用教程

    正則表達(dá)式(regular expression)是計(jì)算機(jī)科學(xué)中的一個概念,又稱規(guī)則表達(dá)式,通常簡寫為regex、regexp、RE、regexps、regexes、regexen。接下來通過本文給大家介紹正則表達(dá)式簡介及在C++11中的簡單使用教程,一起通過本文學(xué)習(xí)吧
    2017-02-02
  • JS常用正則表達(dá)式及驗(yàn)證時間的正則表達(dá)式

    JS常用正則表達(dá)式及驗(yàn)證時間的正則表達(dá)式

    在這篇文章里,我已經(jīng)編寫了12個超有用的正則表達(dá)式,本文給大家介紹的非常詳細(xì),感興趣的朋友參考下吧
    2016-11-11
  • Eclipse使用正則表達(dá)式快速修改代碼的方法

    Eclipse使用正則表達(dá)式快速修改代碼的方法

    這篇文章主要介紹了Eclipse使用正則表達(dá)式快速修改代碼的方法,本文給大家介紹的非常詳細(xì),具有一定的參考借鑒價值,需要的朋友可以參考下
    2020-01-01
  • bash 中用于grep的正則表達(dá)式

    bash 中用于grep的正則表達(dá)式

    正則表達(dá)式是一類用于匹配文本的表達(dá)方式,常用于grep命令中表達(dá)檢索條件。接下來通過本文給大家介紹bash 中用于grep的正則表達(dá)式,需要的朋友參考下吧
    2017-03-03
  • idea 正則表達(dá)式搜索替換應(yīng)用詳解

    idea 正則表達(dá)式搜索替換應(yīng)用詳解

    這篇文章主要介紹了idea 正則表達(dá)式搜索替換應(yīng)用詳解,本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2021-05-05
  • 一篇文章搞懂JavaScript正則表達(dá)式之方法

    一篇文章搞懂JavaScript正則表達(dá)式之方法

    通過本文帶領(lǐng)大家學(xué)習(xí)JavaScript中都有哪些操作正則的方法。本文給大家介紹的非常詳細(xì),具有一定的參考借鑒價值,需要的朋友參考下吧
    2018-11-11
  • 如何使用正則表達(dá)式保留部分內(nèi)容的替換功能

    如何使用正則表達(dá)式保留部分內(nèi)容的替換功能

    其實(shí)工作中一直在用到正則表達(dá)式,只是用來替換的操作顯然沒有那么多,今天偶然遇到,還是有點(diǎn)陌生的,這里記錄一下,下面這篇文章主要給大家介紹了關(guān)于如何使用正則表達(dá)式保留部分內(nèi)容的替換功能,需要的朋友可以參考下
    2023-03-03
  • 正則表達(dá)式中最短匹配模式的用法淺析

    正則表達(dá)式中最短匹配模式的用法淺析

    最短匹配應(yīng)用于:假如有一段文本,你只想匹配最短的可能,而不是最長。下面這篇文章主要給大家介紹了關(guān)于正則表達(dá)式中最短匹配模式用法的相關(guān)資料,文中介紹的非常詳細(xì),需要的朋友可以參考借鑒,下面來一起看看吧。
    2017-07-07

最新評論