抓取頁(yè)面信息方法介紹
抓一次該頁(yè)面,其實(shí)這個(gè)定期也就是頁(yè)面緩存時(shí)間,在頁(yè)面的緩存時(shí)間內(nèi)我們?cè)俅巫ト≡摼W(wǎng)頁(yè)是沒(méi)有必要的,反而給人家服務(wù)器造成壓力
一:網(wǎng)頁(yè)更新
我們知道,一般網(wǎng)頁(yè)中的信息是不斷翻新的,這也要求我們定期的去抓這些新信息,但是這個(gè)“定期”該怎么理解,也就是多長(zhǎng)時(shí)間需要抓一次該頁(yè)面,其實(shí)這個(gè)定期也就是頁(yè)面緩存時(shí)間,在頁(yè)面的緩存時(shí)間內(nèi)我們?cè)俅巫ト≡摼W(wǎng)頁(yè)是沒(méi)有必要的,反而給人家服務(wù)器造成壓力。
就比如說(shuō)我要抓取博客園首頁(yè),首先清空頁(yè)面緩存,
從Last-Modified到Expires,我們可以看到,博客園的緩存時(shí)間是2分鐘,而且我還能看到當(dāng)前的服務(wù)器時(shí)間Date,如果我再次
刷新頁(yè)面的話,這里的Date將會(huì)變成下圖中 If-Modified-Since,然后發(fā)送給服務(wù)器,判斷瀏覽器的緩存有沒(méi)有過(guò)期?
最后服務(wù)器發(fā)現(xiàn)If-Modified-Since >= Last-Modifined的時(shí)間,服務(wù)器也就返回304了,不過(guò)發(fā)現(xiàn)這cookie信息真是賊多啊 。
在實(shí)際開(kāi)發(fā)中,如果在知道網(wǎng)站緩存策略的情況下,我們可以讓爬蟲(chóng)2min爬一次就好了,當(dāng)然這些都是可以由數(shù)據(jù)團(tuán)隊(duì)來(lái)配置維護(hù)了, 好了,下面我們用爬蟲(chóng)模擬一下。
using System;
using System.Net;
namespace ConsoleApplication2
{
public class Program
{
static void Main(string[] args)
{
DateTime prevDateTime = DateTime.MinValue;
for (int i = 0; i < 10; i++)
{
try
{
var url = "http://cnblogs.com";
var request = (HttpWebRequest)HttpWebRequest.Create(url);
request.Method = "Head";
if (i > 0)
{
request.IfModifiedSince = prevDateTime;
}
request.Timeout = 3000;
var response = (HttpWebResponse)request.GetResponse();
var code = response.StatusCode;
//如果服務(wù)器返回狀態(tài)是200,則認(rèn)為網(wǎng)頁(yè)已更新,記得當(dāng)時(shí)的服務(wù)器時(shí)間
if (code == HttpStatusCode.OK)
{
prevDateTime = Convert.ToDateTime(response.Headers[HttpResponseHeader.Date]);
}
Console.WriteLine("當(dāng)前服務(wù)器的狀態(tài)碼:{0}", code);
}
catch (WebException ex)
{
if (ex.Response != null)
{
var code = (ex.Response as HttpWebResponse).StatusCode;
Console.WriteLine("當(dāng)前服務(wù)器的狀態(tài)碼:{0}", code);
}
}
}
}
}
}

二:網(wǎng)頁(yè)編碼的問(wèn)題
或許我們依稀的記得在html的meta中有一個(gè)叫做charset的屬性,里面記錄的就是編碼方式,還有一個(gè)要點(diǎn)就是response.CharacterSet這個(gè)屬性中同樣也記錄了編碼方式,下面我們?cè)賮?lái)試試看。

查看了http頭信息,終于我們知道了,瀏覽器說(shuō)我可以解析gzip,deflate,sdch這三種壓縮方式,服務(wù)器發(fā)送的是gzip壓縮,到這里我們也應(yīng)該知道了常用的web性能優(yōu)化。
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading;
using HtmlAgilityPack;
using System.Text.RegularExpressions;
using System.Net;
using System.IO;
using System.IO.Compression;
namespace ConsoleApplication2
{
public class Program
{
static void Main(string[] args)
{
//var currentUrl = "http://www.mm5mm.com/";
var currentUrl = "http://www.sohu.com/";
var request = WebRequest.Create(currentUrl) as HttpWebRequest;
var response = request.GetResponse() as HttpWebResponse;
var encode = string.Empty;
if (response.CharacterSet == "ISO-8859-1")
encode = "gb2312";
else
encode = response.CharacterSet;
Stream stream;
if (response.ContentEncoding.ToLower() == "gzip")
{
stream = new GZipStream(response.GetResponseStream(), CompressionMode.Decompress);
}
else
{
stream = response.GetResponseStream();
}
var sr = new StreamReader(stream, Encoding.GetEncoding(encode));
var html = sr.ReadToEnd();
}
}
}

三:網(wǎng)頁(yè)解析
既然經(jīng)過(guò)千辛萬(wàn)苦拿到了網(wǎng)頁(yè),下一個(gè)就要解析了,當(dāng)然正則匹配是個(gè)好方法,畢竟工作量還是比較大的,可能業(yè)界也比較推崇 HtmlAgilityPack這個(gè)解析工具,能夠?qū)tml解析成XML,然后可以用XPath去提取指定的內(nèi)容,大大提高了開(kāi)發(fā)速度,性能也不賴,畢竟Agility也就是敏捷的意思,關(guān)于XPath的內(nèi)容,大家看懂W3CSchool的這兩張圖就OK了。

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading;
using HtmlAgilityPack;
using System.Text.RegularExpressions;
using System.Net;
using System.IO;
using System.IO.Compression;
namespace ConsoleApplication2
{
public class Program
{
static void Main(string[] args)
{
//var currentUrl = "http://www.mm5mm.com/";
var currentUrl = "http://www.sohu.com/";
var request = WebRequest.Create(currentUrl) as HttpWebRequest;
var response = request.GetResponse() as HttpWebResponse;
var encode = string.Empty;
if (response.CharacterSet == "ISO-8859-1")
encode = "gb2312";
else
encode = response.CharacterSet;
Stream stream;
if (response.ContentEncoding.ToLower() == "gzip")
{
stream = new GZipStream(response.GetResponseStream(), CompressionMode.Decompress);
}
else
{
stream = response.GetResponseStream();
}
var sr = new StreamReader(stream, Encoding.GetEncoding(encode));
var html = sr.ReadToEnd();
sr.Close();
HtmlDocument document = new HtmlDocument();
document.LoadHtml(html);
//提取title
var title = document.DocumentNode.SelectSingleNode("//title").InnerText;
//提取keywords
var keywords = document.DocumentNode.SelectSingleNode("//meta[@name='Keywords']").Attributes["content"].Value;
}
}
}

好了,打完收工,睡覺(jué)。。。
相關(guān)文章
搭建基礎(chǔ)結(jié)構(gòu)的ABP解決方案介紹
這篇文章介紹了搭建基礎(chǔ)結(jié)構(gòu)的ABP解決方案的方法,文中通過(guò)示例代碼介紹的非常詳細(xì)。對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2022-02-02.Net創(chuàng)建型設(shè)計(jì)模式之建造者、生成器模式(Builder)
這篇文章介紹了.Net設(shè)計(jì)模式之建造者、生成器模式(Builder),文中通過(guò)示例代碼介紹的非常詳細(xì)。對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2022-05-05ASP.NET?Core中Razor頁(yè)面的Handlers處理方法詳解
本文詳細(xì)講解了ASP.NET?Core中Razor頁(yè)面的Handlers處理方法,文中通過(guò)示例代碼介紹的非常詳細(xì)。對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2022-02-02ASP.NET系統(tǒng)關(guān)鍵字及保留字列表整理
ASP.NET系統(tǒng)關(guān)鍵字及保留字列表,大家在寫(xiě)程序的時(shí)候一定要避免使用,免得引起不需要的麻煩2012-10-10Linux Ubuntu系統(tǒng)上手動(dòng)安裝.NET Core SDK的方法
.NET Core是一個(gè)開(kāi)源通用的開(kāi)發(fā)框架,支持跨平臺(tái),即支持在Window,macOS,Linux等系統(tǒng)上的開(kāi)發(fā)和部署,并且可以在硬件設(shè)備,云服務(wù),和嵌入式/物聯(lián)網(wǎng)方案中進(jìn)行使用。下面這篇文章將給大家詳細(xì)介紹關(guān)于在Linux Ubuntu系統(tǒng)上手動(dòng)安裝.NET Core SDK的方法。2016-12-12連接ACCESS數(shù)據(jù)庫(kù)時(shí)發(fā)生錯(cuò)誤提示:找不到可安裝的 ISAM
連接ACCESS數(shù)據(jù)庫(kù)時(shí)發(fā)生錯(cuò)誤提示:找不到可安裝的 ISAM 檢查后發(fā)現(xiàn)原來(lái)是把Data Source寫(xiě)成 DataSource了2011-04-04利用C#遠(yuǎn)程存取Access數(shù)據(jù)庫(kù)
目前,基于數(shù)據(jù)庫(kù)服務(wù)器的桌面管理程序和Web程序已經(jīng)有太多的應(yīng)用了,尤其是網(wǎng)絡(luò)的大量普及,孤立地?cái)?shù)據(jù)庫(kù)管理系統(tǒng)無(wú)法勝任分布式管理應(yīng)用,但是面對(duì)基于Access數(shù)據(jù)庫(kù)的現(xiàn)有的桌面應(yīng)用我們也無(wú)法完全的摒棄。我們利用.Net 遠(yuǎn)程處理功能將連接和存取Access的行為封裝為一個(gè)遠(yuǎn)程對(duì)象,供網(wǎng)絡(luò)中其它客戶端通過(guò)調(diào)用該遠(yuǎn)程對(duì)象來(lái)存取實(shí)際的Access數(shù)據(jù)庫(kù)。我們以 C# 2005 為開(kāi)發(fā)語(yǔ)言來(lái)實(shí)現(xiàn)上述功能。2008-04-04