C# 利用代理爬蟲網(wǎng)頁(yè)的實(shí)現(xiàn)方法
C# 利用代理爬蟲網(wǎng)頁(yè)
實(shí)現(xiàn)代碼:
// yanggang@mimvp.com // http://proxy.mimvp.com // 2015-11-09 using System; using System.IO; using System.Net; using System.Text; namespace ConsoleApplication1 { class Program { public static void Main(string[] args) { System.Net.WebProxy proxy = new WebProxy("218.21.230.156", 443); // "107.150.96.188", 8080 HttpWebRequest request = (HttpWebRequest)WebRequest.Create("http://proxy.mimvp.com"); request.Proxy = proxy; using (WebResponse response = request.GetResponse()) { using (TextReader reader = new StreamReader(response.GetResponseStream())) { string line; while ((line = reader.ReadLine()) != null) Console.WriteLine(line); } } } public static void Main2() { // your code goes here System.Net.WebProxy proxy = new WebProxy("107.150.96.188", 8080); System.Net.HttpWebRequest req = (HttpWebRequest)WebRequest.Create("http://www.baidu.com"); req.Proxy = proxy; req.Timeout = 30 * 1000; System.Net.HttpWebResponse resp = (HttpWebResponse)req.GetResponse(); Encoding bin = Encoding.GetEncoding("UTF-8"); StreamReader reader = new StreamReader(resp.GetResponseStream(), bin); string str = reader.ReadToEnd(); Console.WriteLine(str); reader.Close(); reader.Dispose(); } } }
獲取更多代理,請(qǐng)?jiān)L問米撲代理:
如有疑問請(qǐng)留言或者到本站社區(qū)交流討論,感謝閱讀,希望能幫助到大家,謝謝大家對(duì)本站的支持!
- c# Selenium爬取數(shù)據(jù)時(shí)防止webdriver封爬蟲的方法
- C# 爬蟲簡(jiǎn)單教程
- 用C#做網(wǎng)絡(luò)爬蟲的步驟教學(xué)
- c#爬蟲爬取京東的商品信息
- C#程序如何調(diào)用C++?dll詳細(xì)教程
- 利用C#實(shí)現(xiàn)最基本的小說爬蟲示例代碼
- C#簡(jiǎn)單爬蟲案例分享
- C#多線程爬蟲抓取免費(fèi)代理IP的示例代碼
- C#制作多線程處理強(qiáng)化版網(wǎng)絡(luò)爬蟲
- 利用C#實(shí)現(xiàn)網(wǎng)絡(luò)爬蟲
- c# 基于Titanium爬取微信公眾號(hào)歷史文章列表
相關(guān)文章
使用C#自制一個(gè)Windows安裝包的詳細(xì)過程
這篇文章主要介紹了如何使用C#自制一個(gè)Windows安裝包,文中通過圖文結(jié)合的方式給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作有一定的幫助,需要的朋友可以參考下2024-07-07C# TabControl手動(dòng)觸發(fā)DrawItem的實(shí)現(xiàn)
本文主要介紹了C# TabControl手動(dòng)觸發(fā)DrawItem的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-02-02C#利用反射來判斷對(duì)象是否包含某個(gè)屬性的實(shí)現(xiàn)方法
這篇文章主要介紹了C#利用反射來判斷對(duì)象是否包含某個(gè)屬性的實(shí)現(xiàn)方法,很有借鑒價(jià)值的一個(gè)技巧,需要的朋友可以參考下2014-08-08WPF利用CommunityToolkit.Mvvm實(shí)現(xiàn)級(jí)聯(lián)選擇器
這篇文章主要介紹了WPF如何利用CommunityToolkit.Mvvm實(shí)現(xiàn)級(jí)聯(lián)選擇器,文中的示例代碼講解詳細(xì),對(duì)我們的學(xué)習(xí)或工作有一定幫助,需要的小伙伴可以參考一下2023-12-12C#構(gòu)建樹形結(jié)構(gòu)數(shù)據(jù)(全部構(gòu)建,查找構(gòu)建)
這篇文章主要介紹了C#構(gòu)建樹形結(jié)構(gòu)數(shù)據(jù)(全部構(gòu)建,查找構(gòu)建),小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-10-10