java爬蟲之使用HttpClient模擬瀏覽器發(fā)送請求方法詳解
0. 摘要
0.1 添加依賴
<dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.5.2</version> </dependency>
0.2 代碼
//1. 打開瀏覽器 創(chuàng)建httpclient對象 CloseableHttpClient httpClient = HttpClients.createDefault(); //2. 輸入網(wǎng)址 HttpGet httpGet = new HttpGet("http://www.baidu.com"); //3. 發(fā)送請求 CloseableHttpResponse httpResponse = httpClient.execute(httpGet); //4. 響應(yīng)結(jié)果 HttpEntity httpEntity = httpResponse.getEntity(); //5. 解析結(jié)果 String result = EntityUtils.toString(httpEntity, "utf-8"); System.out.println(result);
1. 實(shí)操
1.1 添加依賴
1.1.1 找到 pom.xml 添加依賴
1.1.2 依賴代碼
<dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.5.2</version> </dependency>
1.2 添加 TestHttpClient 類
1.2.1 創(chuàng)建類文件 com.aifu.TestHttpClient
1.2.2 添加代碼
public static void main(String[] args) throws IOException { //1. 打開瀏覽器 創(chuàng)建httpclient對象 CloseableHttpClient httpClient = HttpClients.createDefault(); //2. 輸入網(wǎng)址 HttpGet httpGet = new HttpGet("http://www.baidu.com"); //3. 發(fā)送請求 CloseableHttpResponse httpResponse = httpClient.execute(httpGet); //4. 響應(yīng)結(jié)果 HttpEntity httpEntity = httpResponse.getEntity(); //5. 解析結(jié)果 String result = EntityUtils.toString(httpEntity, "utf-8"); System.out.println(result); }
1.3 運(yùn)行
1.3.1 點(diǎn)擊綠標(biāo)運(yùn)行 或者快捷鍵 ctrl + alt +F10
到此這篇關(guān)于java爬蟲之使用HttpClient模擬瀏覽器發(fā)送請求方法詳解的文章就介紹到這了,更多相關(guān)java爬蟲HttpClient模擬瀏覽器發(fā)送請求內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
- java?11新特性HttpClient主要組件及發(fā)送請求示例詳解
- Java通過httpclient比較重定向和請求轉(zhuǎn)發(fā)
- Java HttpClient執(zhí)行請求時(shí)配置cookie流程詳細(xì)講解
- Java HttpClient-Restful工具各種請求高度封裝提煉及總結(jié)
- java中httpclient封裝post請求和get的請求實(shí)例
- java發(fā)送form-data請求實(shí)現(xiàn)文件上傳的示例代碼
- Java請求調(diào)用參數(shù)格式為form-data類型的接口代碼示例
- Java后臺接收數(shù)據(jù)的三種方式(url、form-data與application/json)
- Java httpclient請求form-data格式并設(shè)置boundary代碼實(shí)現(xiàn)方法
相關(guān)文章
詳解openfeign集成spring?cloud?loadbalancer實(shí)現(xiàn)負(fù)載均衡流程
這篇文章主要介紹了openfeign集成spring?cloud?loadbalancer實(shí)現(xiàn)負(fù)載均衡流程詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-07-07Struts2實(shí)現(xiàn)上傳單個(gè)文件功能
這篇文章主要為大家詳細(xì)介紹了Struts2實(shí)現(xiàn)上傳單個(gè)文件功能,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2017-06-06Java中構(gòu)造器內(nèi)部的多態(tài)方法的行為實(shí)例分析
這篇文章主要介紹了Java中構(gòu)造器內(nèi)部的多態(tài)方法的行為,結(jié)合實(shí)例形式分析了java構(gòu)造器內(nèi)部多態(tài)方法相關(guān)原理、功能及操作技巧,需要的朋友可以參考下2019-10-10springboot自動(dòng)掃描添加的BeanDefinition源碼實(shí)例詳解
這篇文章主要給大家介紹了關(guān)于springboot自動(dòng)掃描添加的BeanDefinition的相關(guān)資料,文中通過實(shí)例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2022-02-02淺談java中異步多線程超時(shí)導(dǎo)致的服務(wù)異常
下面小編就為大家?guī)硪黄獪\談java中異步多線程超時(shí)導(dǎo)致的服務(wù)異常。小編覺得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2016-06-06