欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Go語言做爬蟲狀態(tài)碼返回418的問題解決

 更新時間:2021年12月14日 10:47:13   作者:我的名字豌豆  
在使用Go語言做爬蟲時,使用http.Get(url)去獲取網(wǎng)頁內(nèi)容,狀態(tài)碼返回404,本文我們就詳細(xì)的介紹一下解決方法,感興趣的可以了解一下

背景

?在使用Go語言做爬蟲時,使用http.Get(url)去獲取網(wǎng)頁內(nèi)容,狀態(tài)碼返回404,Body體為空。

在這里插入圖片描述

原因分析

?http.Get(url)是不需要設(shè)置header屬性的http請求,比較簡單快捷,但狀態(tài)碼返回418,表明我們需要設(shè)置其header屬性,那么我們可以使用http.NewRequest,在設(shè)置其header屬性即可~

代碼部分

func main7()  {
	client := &http.Client{}
	url := "https://movie.douban.com/top250?start=0&filter="
	reqest, err := http.NewRequest("GET", url, nil)
	//設(shè)置header屬性
	reqest.Header.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36 OPR/66.0.3515.115")
	if err!=nil {
		fmt.Println(err)
		return
	}
	response, _ := client.Do(reqest)
	defer response.Body.Close()
	buf := make([]byte,4096)
	var result string
	for  {
		n,err:=response.Body.Read(buf)
		if n == 0 {
			fmt.Println("讀取網(wǎng)頁完成")
			break
		}
		if err!=nil && err!=io.EOF {
			fmt.Println("resp body err",err)
			return
		}
		result += string(buf[:n])
		//打印讀取的網(wǎng)頁
		fmt.Println(result)
	}
}

到此這篇關(guān)于Go語言做爬蟲狀態(tài)碼返回418的問題解決的文章就介紹到這了,更多相關(guān)Go語言爬蟲返回418內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • Golang實現(xiàn)自己的orm框架實例探索

    Golang實現(xiàn)自己的orm框架實例探索

    這篇文章主要為大家介紹了Golang實現(xiàn)自己的orm框架實例探索,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
    2024-01-01
  • 提升Go語言開發(fā)效率的小技巧實例(GO語言語法糖)匯總

    提升Go語言開發(fā)效率的小技巧實例(GO語言語法糖)匯總

    這篇文章主要介紹了提升Go語言開發(fā)效率的小技巧匯總,也就是Go語言的語法糖,掌握好這些可以提高我們的開發(fā)效率,需要的朋友可以參考下
    2022-11-11
  • golang 并發(fā)安全Map以及分段鎖的實現(xiàn)方法

    golang 并發(fā)安全Map以及分段鎖的實現(xiàn)方法

    這篇文章主要介紹了golang 并發(fā)安全Map以及分段鎖的實現(xiàn)方法,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2019-03-03
  • Go語言實現(xiàn)棧與隊列基本操作學(xué)家

    Go語言實現(xiàn)棧與隊列基本操作學(xué)家

    go語言中,并沒有棧與隊列相關(guān)的數(shù)據(jù)結(jié)構(gòu),但是我們可以借助切片來實現(xiàn)棧與隊列的操作;接下來我們一起實現(xiàn)棧與隊列基本操作,感興趣的可以了解一下
    2022-11-11
  • Go語言基礎(chǔ)變量的聲明及初始化示例詳解

    Go語言基礎(chǔ)變量的聲明及初始化示例詳解

    這篇文章主要為大家介紹了Go語言基礎(chǔ)變量的聲明及初始化示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助祝大家多多進步,早日升職加薪
    2021-11-11
  • GoFrame框架gcache的緩存控制淘汰策略實踐示例

    GoFrame框架gcache的緩存控制淘汰策略實踐示例

    這篇文章主要為大家介紹了GoFrame框架gcache的緩存控制淘汰策略的實踐示例,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
    2022-06-06
  • golang xorm及time.Time自定義解決json日期格式的問題

    golang xorm及time.Time自定義解決json日期格式的問題

    這篇文章主要介紹了golang xorm及time.Time自定義解決json日期格式的問題,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-12-12
  • golang高并發(fā)的深入理解

    golang高并發(fā)的深入理解

    golang從語言級別上對并發(fā)提供了支持,而且在啟動并發(fā)的方式上直接添加了語言級的關(guān)鍵字。下面這篇文章主要給大家介紹了關(guān)于golang高并發(fā)的相關(guān)資料,需要的朋友可以參考下
    2019-03-03
  • go語言打包的網(wǎng)頁wasm示例詳解

    go語言打包的網(wǎng)頁wasm示例詳解

    這篇文章主要為大家介紹了go打包網(wǎng)頁wasm示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪<BR>
    2022-09-09
  • 執(zhí)行g(shù)o?vendor第三方包版本沖突問題解決

    執(zhí)行g(shù)o?vendor第三方包版本沖突問題解決

    這篇文章主要為大家介紹了執(zhí)行g(shù)o?vendor時,第三方包go版本沖突問題的解決方法,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
    2022-07-07

最新評論