Go語言做爬蟲狀態(tài)碼返回418的問題解決
背景
?在使用Go語言做爬蟲時(shí),使用http.Get(url)
去獲取網(wǎng)頁內(nèi)容,狀態(tài)碼返回404,Body體為空。
原因分析
?http.Get(url)
是不需要設(shè)置header屬性的http請(qǐng)求,比較簡單快捷,但狀態(tài)碼返回418,表明我們需要設(shè)置其header屬性,那么我們可以使用http.NewRequest
,在設(shè)置其header屬性即可~
代碼部分
func main7() { client := &http.Client{} url := "https://movie.douban.com/top250?start=0&filter=" reqest, err := http.NewRequest("GET", url, nil) //設(shè)置header屬性 reqest.Header.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36 OPR/66.0.3515.115") if err!=nil { fmt.Println(err) return } response, _ := client.Do(reqest) defer response.Body.Close() buf := make([]byte,4096) var result string for { n,err:=response.Body.Read(buf) if n == 0 { fmt.Println("讀取網(wǎng)頁完成") break } if err!=nil && err!=io.EOF { fmt.Println("resp body err",err) return } result += string(buf[:n]) //打印讀取的網(wǎng)頁 fmt.Println(result) } }
到此這篇關(guān)于Go語言做爬蟲狀態(tài)碼返回418的問題解決的文章就介紹到這了,更多相關(guān)Go語言爬蟲返回418內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Golang實(shí)現(xiàn)自己的orm框架實(shí)例探索
這篇文章主要為大家介紹了Golang實(shí)現(xiàn)自己的orm框架實(shí)例探索,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2024-01-01提升Go語言開發(fā)效率的小技巧實(shí)例(GO語言語法糖)匯總
這篇文章主要介紹了提升Go語言開發(fā)效率的小技巧匯總,也就是Go語言的語法糖,掌握好這些可以提高我們的開發(fā)效率,需要的朋友可以參考下2022-11-11golang 并發(fā)安全Map以及分段鎖的實(shí)現(xiàn)方法
這篇文章主要介紹了golang 并發(fā)安全Map以及分段鎖的實(shí)現(xiàn)方法,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2019-03-03Go語言實(shí)現(xiàn)棧與隊(duì)列基本操作學(xué)家
go語言中,并沒有棧與隊(duì)列相關(guān)的數(shù)據(jù)結(jié)構(gòu),但是我們可以借助切片來實(shí)現(xiàn)棧與隊(duì)列的操作;接下來我們一起實(shí)現(xiàn)棧與隊(duì)列基本操作,感興趣的可以了解一下2022-11-11GoFrame框架gcache的緩存控制淘汰策略實(shí)踐示例
這篇文章主要為大家介紹了GoFrame框架gcache的緩存控制淘汰策略的實(shí)踐示例,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-06-06golang xorm及time.Time自定義解決json日期格式的問題
這篇文章主要介紹了golang xorm及time.Time自定義解決json日期格式的問題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-12-12執(zhí)行g(shù)o?vendor第三方包版本沖突問題解決
這篇文章主要為大家介紹了執(zhí)行g(shù)o?vendor時(shí),第三方包go版本沖突問題的解決方法,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-07-07