抓一次該頁面,其實這個定期也就是頁面緩存時間,在頁面的緩存時間內我們再次抓取該網頁是沒有必要的,反而給人家服務器造成壓力" />

欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

抓取頁面信息方法介紹

 更新時間:2012年11月08日 10:20:39   投稿:whsnow  
我們知道,一般網頁中的信息是不斷翻新的,這也要求我們定期的去抓這些新信息,但是這個“定期”該怎么理解,也就是多長時間需要
抓一次該頁面,其實這個定期也就是頁面緩存時間,在頁面的緩存時間內我們再次抓取該網頁是沒有必要的,反而給人家服務器造成壓力

一:網頁更新
我們知道,一般網頁中的信息是不斷翻新的,這也要求我們定期的去抓這些新信息,但是這個“定期”該怎么理解,也就是多長時間需要抓一次該頁面,其實這個定期也就是頁面緩存時間,在頁面的緩存時間內我們再次抓取該網頁是沒有必要的,反而給人家服務器造成壓力。
就比如說我要抓取博客園首頁,首先清空頁面緩存,

從Last-Modified到Expires,我們可以看到,博客園的緩存時間是2分鐘,而且我還能看到當前的服務器時間Date,如果我再次

刷新頁面的話,這里的Date將會變成下圖中 If-Modified-Since,然后發(fā)送給服務器,判斷瀏覽器的緩存有沒有過期?

最后服務器發(fā)現If-Modified-Since >= Last-Modifined的時間,服務器也就返回304了,不過發(fā)現這cookie信息真是賊多啊 。

在實際開發(fā)中,如果在知道網站緩存策略的情況下,我們可以讓爬蟲2min爬一次就好了,當然這些都是可以由數據團隊來配置維護了, 好了,下面我們用爬蟲模擬一下。

復制代碼 代碼如下:

using System;
using System.Net;

namespace ConsoleApplication2
{
public class Program
{
static void Main(string[] args)
{
DateTime prevDateTime = DateTime.MinValue;

for (int i = 0; i < 10; i++)
{
try
{
var url = "http://cnblogs.com";

var request = (HttpWebRequest)HttpWebRequest.Create(url);

request.Method = "Head";

if (i > 0)
{
request.IfModifiedSince = prevDateTime;
}

request.Timeout = 3000;

var response = (HttpWebResponse)request.GetResponse();

var code = response.StatusCode;

//如果服務器返回狀態(tài)是200,則認為網頁已更新,記得當時的服務器時間
if (code == HttpStatusCode.OK)
{
prevDateTime = Convert.ToDateTime(response.Headers[HttpResponseHeader.Date]);
}

Console.WriteLine("當前服務器的狀態(tài)碼:{0}", code);
}
catch (WebException ex)
{
if (ex.Response != null)
{
var code = (ex.Response as HttpWebResponse).StatusCode;

Console.WriteLine("當前服務器的狀態(tài)碼:{0}", code);
}
}
}
}
}
}


二:網頁編碼的問題

或許我們依稀的記得在html的meta中有一個叫做charset的屬性,里面記錄的就是編碼方式,還有一個要點就是response.CharacterSet這個屬性中同樣也記錄了編碼方式,下面我們再來試試看。

查看了http頭信息,終于我們知道了,瀏覽器說我可以解析gzip,deflate,sdch這三種壓縮方式,服務器發(fā)送的是gzip壓縮,到這里我們也應該知道了常用的web性能優(yōu)化。
復制代碼 代碼如下:

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading;
using HtmlAgilityPack;
using System.Text.RegularExpressions;
using System.Net;
using System.IO;
using System.IO.Compression;

namespace ConsoleApplication2
{
public class Program
{
static void Main(string[] args)
{
//var currentUrl = "http://www.mm5mm.com/";

var currentUrl = "http://www.sohu.com/";

var request = WebRequest.Create(currentUrl) as HttpWebRequest;

var response = request.GetResponse() as HttpWebResponse;

var encode = string.Empty;

if (response.CharacterSet == "ISO-8859-1")
encode = "gb2312";
else
encode = response.CharacterSet;

Stream stream;

if (response.ContentEncoding.ToLower() == "gzip")
{
stream = new GZipStream(response.GetResponseStream(), CompressionMode.Decompress);
}
else
{
stream = response.GetResponseStream();
}

var sr = new StreamReader(stream, Encoding.GetEncoding(encode));

var html = sr.ReadToEnd();
}
}
}


三:網頁解析

既然經過千辛萬苦拿到了網頁,下一個就要解析了,當然正則匹配是個好方法,畢竟工作量還是比較大的,可能業(yè)界也比較推崇 HtmlAgilityPack這個解析工具,能夠將Html解析成XML,然后可以用XPath去提取指定的內容,大大提高了開發(fā)速度,性能也不賴,畢竟Agility也就是敏捷的意思,關于XPath的內容,大家看懂W3CSchool的這兩張圖就OK了。


復制代碼 代碼如下:

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading;
using HtmlAgilityPack;
using System.Text.RegularExpressions;
using System.Net;
using System.IO;
using System.IO.Compression;

namespace ConsoleApplication2
{
public class Program
{
static void Main(string[] args)
{
//var currentUrl = "http://www.mm5mm.com/";

var currentUrl = "http://www.sohu.com/";

var request = WebRequest.Create(currentUrl) as HttpWebRequest;

var response = request.GetResponse() as HttpWebResponse;

var encode = string.Empty;

if (response.CharacterSet == "ISO-8859-1")
encode = "gb2312";
else
encode = response.CharacterSet;

Stream stream;

if (response.ContentEncoding.ToLower() == "gzip")
{
stream = new GZipStream(response.GetResponseStream(), CompressionMode.Decompress);
}
else
{
stream = response.GetResponseStream();
}

var sr = new StreamReader(stream, Encoding.GetEncoding(encode));

var html = sr.ReadToEnd();

sr.Close();

HtmlDocument document = new HtmlDocument();

document.LoadHtml(html);

//提取title
var title = document.DocumentNode.SelectSingleNode("//title").InnerText;

//提取keywords
var keywords = document.DocumentNode.SelectSingleNode("//meta[@name='Keywords']").Attributes["content"].Value;
}
}
}


好了,打完收工,睡覺。。。

相關文章

  • 搭建基礎結構的ABP解決方案介紹

    搭建基礎結構的ABP解決方案介紹

    這篇文章介紹了搭建基礎結構的ABP解決方案的方法,文中通過示例代碼介紹的非常詳細。對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2022-02-02
  • .Net創(chuàng)建型設計模式之建造者、生成器模式(Builder)

    .Net創(chuàng)建型設計模式之建造者、生成器模式(Builder)

    這篇文章介紹了.Net設計模式之建造者、生成器模式(Builder),文中通過示例代碼介紹的非常詳細。對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2022-05-05
  • .NET6使WebApi獲取訪問者IP地址

    .NET6使WebApi獲取訪問者IP地址

    這篇文章介紹了.NET6使WebApi獲取訪問者IP地址的方法,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2021-12-12
  • ASP.NET?Core中Razor頁面的Handlers處理方法詳解

    ASP.NET?Core中Razor頁面的Handlers處理方法詳解

    本文詳細講解了ASP.NET?Core中Razor頁面的Handlers處理方法,文中通過示例代碼介紹的非常詳細。對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2022-02-02
  • ASP.NET系統(tǒng)關鍵字及保留字列表整理

    ASP.NET系統(tǒng)關鍵字及保留字列表整理

    ASP.NET系統(tǒng)關鍵字及保留字列表,大家在寫程序的時候一定要避免使用,免得引起不需要的麻煩
    2012-10-10
  • Linux Ubuntu系統(tǒng)上手動安裝.NET Core SDK的方法

    Linux Ubuntu系統(tǒng)上手動安裝.NET Core SDK的方法

    .NET Core是一個開源通用的開發(fā)框架,支持跨平臺,即支持在Window,macOS,Linux等系統(tǒng)上的開發(fā)和部署,并且可以在硬件設備,云服務,和嵌入式/物聯網方案中進行使用。下面這篇文章將給大家詳細介紹關于在Linux Ubuntu系統(tǒng)上手動安裝.NET Core SDK的方法。
    2016-12-12
  • Asp.net請求處理之管道處理介紹

    Asp.net請求處理之管道處理介紹

    在了解Asp.net請求處理流程的過程中,個人認為有必要從源代碼的角度來了解asp.net管道是怎么實現的,需要的朋友可以參考下
    2012-11-11
  • 連接ACCESS數據庫時發(fā)生錯誤提示:找不到可安裝的 ISAM

    連接ACCESS數據庫時發(fā)生錯誤提示:找不到可安裝的 ISAM

    連接ACCESS數據庫時發(fā)生錯誤提示:找不到可安裝的 ISAM 檢查后發(fā)現原來是把Data Source寫成 DataSource了
    2011-04-04
  • asp.net中MVC的處理流程詳解

    asp.net中MVC的處理流程詳解

    本文詳細講解了asp.net MVC的處理流程,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2022-07-07
  • 利用C#遠程存取Access數據庫

    利用C#遠程存取Access數據庫

    目前,基于數據庫服務器的桌面管理程序和Web程序已經有太多的應用了,尤其是網絡的大量普及,孤立地數據庫管理系統(tǒng)無法勝任分布式管理應用,但是面對基于Access數據庫的現有的桌面應用我們也無法完全的摒棄。我們利用.Net 遠程處理功能將連接和存取Access的行為封裝為一個遠程對象,供網絡中其它客戶端通過調用該遠程對象來存取實際的Access數據庫。我們以 C# 2005 為開發(fā)語言來實現上述功能。
    2008-04-04

最新評論