C#使用CefSharp控件實(shí)現(xiàn)爬蟲
一、CefSharp介紹
CEF 全稱是Chromium Embedded Framework(Chromium嵌入式框架),是個(gè)基于Google Chromium項(xiàng)目的開源Web browser控件,支持Windows, Linux, Mac平臺(tái)。CEFSharp就是CEF的C#移植版本。
就是一款.Net編寫的瀏覽器包,方便你在Winform和WPF中內(nèi)嵌的Chrome瀏覽器組件
GitHub地址:https://github.com/cefsharp/CefSharp
安裝
使用Nuget包引用
把項(xiàng)目改成64位
切換到X64
安裝完之后工具欄應(yīng)該會(huì)多出來這個(gè)控件(直接拖動(dòng)用不了!)
二、使用
1、獲得頁面源代碼
注意:
1、GetSourceAsync獲取源碼的方法是異步操作
2、判斷頁面加載完成,會(huì)觸發(fā)FrameLoadEnd頁面加載完成事件。使用CEF無法確定一個(gè)網(wǎng)站是否已經(jīng)完全加載完成,我們只能在它每一次加載完成時(shí),處理它的頁面源碼。(如果需要主動(dòng)等待網(wǎng)站加載完成,可以試試使用Selenium)
public partial class Form1 : Form { public Form1() { InitializeComponent(); } ChromiumWebBrowser WebBrowser; private void Form1_Load(object sender, EventArgs e) { var settings = new CefSettings() { UserAgent = "Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Mobile Safari/537.36", }; //Perform dependency check to make sure all relevant resources are in our output directory. Cef.Initialize(settings, performDependencyCheck: true, browserProcessHandler: null); // cefsharp提供的瀏覽器控件,一般用它充滿窗口就搞定了 WebBrowser = new ChromiumWebBrowser("http://www.163.com") { // 填充整個(gè)父控件 Dock = DockStyle.Fill }; WebBrowser.FrameLoadEnd += new EventHandler<FrameLoadEndEventArgs>(FrameEndFunc); // 添加到窗口的控件列表中 this.panel1.Controls.Add(WebBrowser); } private void FrameEndFunc(object sender, FrameLoadEndEventArgs e) { MessageBox.Show("加載完畢"); this.BeginInvoke(new Action(() => { String html = WebBrowser.GetSourceAsync().Result; richTextBox1.Text = html; })); } private void Form1_FormClosed(object sender, FormClosedEventArgs e) { // 結(jié)束時(shí)要銷毀 Cef.Shutdown(); } } }
效果:可以加載很多原生webbrowser不能加載的內(nèi)容 可以適應(yīng)iframe
2、執(zhí)行頁面中的js函數(shù)
測(cè)試的js代碼
<html> <body> <button type="button" onclick="test(1,2)">測(cè)試按鈕</button> </body> <script type="text/javascript"> function test(a,b) { var c = testfunc(a,b); alert(c); } function testfunc(a,b) { return a+b; } </script> <html>
調(diào)用頁面中的testfunc函數(shù)
private void button3_Click(object sender, EventArgs e) { using (StreamReader sr = new StreamReader("JavaScript1.html")) { string html = sr.ReadToEnd(); WebBrowser.LoadHtml(html, "http://testpage/"); } } private void button4_Click(object sender, EventArgs e) { String script = "testfunc(99,1)"; var result = this.WebBrowser.EvaluateScriptAsync(script).Result.Result; MessageBox.Show(result.ToString()); }
效果
3、常用方法
//瀏覽網(wǎng)址: WebBrowser = new ChromiumWebBrowser("https://www.baidu.com"); // 或 WebBrowser.Load("https://www.baidu.com"); // 獲取HTML(整體): WebBrowser.GetSourceAsync().Result; // 獲取HTML(特定Frame): WebBrowser.GetBrowser().GetFrame(“SI2_mem_index”).GetSourceAsync().Result; //執(zhí)行網(wǎng)頁上的JavaScript: ExecuteJavaScriptAsync("document.getElementById('username').onkeydown();"); //模擬左鍵點(diǎn)擊: WebBrowser.GetBrowser().GetHost().SendMouseClickEvent(x, y, MouseButtonType.Left, false, 1, CefEventFlags.None); Thread.Sleep(50); WebBrowser.GetBrowser().GetHost().SendMouseClickEvent(x, y, MouseButtonType.Left, true, 1, CefEventFlags.None);
實(shí)例地址:https://github.com/zhaotianff/CSharpCrawler
到此這篇關(guān)于C#使用CefSharp控件實(shí)現(xiàn)爬蟲的文章就介紹到這了。希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
WinForm實(shí)現(xiàn)關(guān)閉按鈕不可用或隱藏的方法
這篇文章主要介紹了WinForm實(shí)現(xiàn)關(guān)閉按鈕不可用或隱藏的方法,很實(shí)用的功能,需要的朋友可以參考下2014-08-08Unity實(shí)現(xiàn)高效的音效管理類的示例代碼
這篇文章主要為大家詳細(xì)介紹了如何通過Unity實(shí)現(xiàn)高效的音效管理類,文中的示例代碼講解詳細(xì),具有一定的借鑒價(jià)值,感興趣的可以了解一下2023-03-03使用C#的正則表達(dá)式驗(yàn)證中文字符(實(shí)例代碼)
本文通過實(shí)例代碼給大家介紹了使用C#的正則表達(dá)式驗(yàn)證中文字符的方法,需要的的朋友參考下吧2017-07-07使用位運(yùn)算實(shí)現(xiàn)網(wǎng)頁中的過濾、篩選功能實(shí)例
這篇文章主要介紹了使用位運(yùn)算實(shí)現(xiàn)網(wǎng)頁中的過濾、篩選功能實(shí)例,一個(gè)比常規(guī)拼接SQL字符串更有新意的一個(gè)解決思路,需要的朋友可以參考下2014-07-07ASP.Net動(dòng)態(tài)讀取Excel文件最簡(jiǎn)方法
本篇文章給大家分享了ASP.Net動(dòng)態(tài)讀取Excel文件最簡(jiǎn)方法,對(duì)此有需要的讀者們參考學(xué)習(xí)下。2018-05-05詳解C#中的定時(shí)器Timer類及其垃圾回收機(jī)制
這篇文章主要介紹了C#中的定時(shí)器Timer類及其垃圾回收機(jī)制,講解了Timer相關(guān)的單線程異步工作,需要的朋友可以參考下2016-04-04C#RSA對(duì)接JAVA中RSA方式代碼實(shí)例
在本篇文章中小編給各位整理的是關(guān)于C#RSA對(duì)接JAVA中RSA方式代碼實(shí)例,有需要的朋友們可以參考一下。2019-09-09WinForm下 TextBox只允許輸入數(shù)字的小例子
WinForm下 TextBox只允許輸入數(shù)字的小例子,需要的朋友可以參考一下2013-04-04