Go語(yǔ)言并發(fā)爬蟲的具體實(shí)現(xiàn)
寫在前面
這篇文章主要讓大家明白
多線程爬蟲，因?yàn)間o語(yǔ)言實(shí)現(xiàn)并發(fā)是很容易的。
這次的服務(wù)端，是我們之前搭建的電子商城平臺(tái)，所以我們不擔(dān)心ip被封之類的問題。
而實(shí)際生產(chǎn)環(huán)境中，其實(shí)我們都是用python爬蟲的。python實(shí)現(xiàn)多線程也很簡(jiǎn)單。
這次我們可以試試新玩法，試試go語(yǔ)言的并發(fā)爬蟲。
主要是爬取第一頁(yè)的商品，爬取十次，比較單線程和多線程的時(shí)間。
1. 單線程爬蟲
?定義一個(gè)用戶
var Client http.Client
主函數(shù)
func main() {
url := "http://localhost:3000/api/v1/products"
start := time.Now()
for i := 0; i < 10; i++ {
Spider(url, i)
}
elapsed := time.Since(start)
fmt.Printf("Time %s", elapsed)
}
爬取函數(shù)
func Spider(url string, i int) {
reqSpider, err := http.NewRequest("GET", url, nil)
if err != nil {
log.Fatal(err)
}
reqSpider.Header.Set("content-length", "0")
reqSpider.Header.Set("accept", "*/*")
reqSpider.Header.Set("x-requested-with", "XMLHttpRequest")
respSpider, err := Client.Do(reqSpider)
if err != nil {
log.Fatal(err)
}
bodyText, _ := ioutil.ReadAll(respSpider.Body)
var result Result
_ = json.Unmarshal(bodyText, &result)
fmt.Println(i,result.Data)
}
運(yùn)行時(shí)間為：651.8207ms
2. 多線程爬蟲
2.1 channel main函數(shù)
我們構(gòu)造一個(gè)無(wú)緩沖的通道，來(lái)阻塞主進(jìn)程，等待子進(jìn)程的執(zhí)行。
func main() {
url := "http://localhost:3000/api/v1/products"
ch := make(chan bool)
start := time.Now()
for i := 0; i < 10; i++ {
go Spider(url, ch, i)
}
for i := 0; i < 10; i++ {
<-ch
}
elapsed := time.Since(start)
fmt.Printf("Time %s", elapsed)
}
最后記得在爬蟲的結(jié)束的時(shí)候，把值寫入到通道中，不然會(huì)一直阻塞主進(jìn)程
運(yùn)行時(shí)間：187.7921ms 比之前快了非常多。
2.2 sync.WaitGroup
定義一個(gè)進(jìn)程組并加10個(gè)進(jìn)程
var wg sync.WaitGroup wg.Add(10)
開辟十個(gè)goruntime
for i := 0; i < 10; i++ {
go func(i int) {
defer wg.Done()
SpiderWaitGroup(url,i)
}(i)
}
阻塞主進(jìn)程
wg.Wait()
結(jié)果：64.5246ms
3. 源碼地址
GitHub地址：https://github.com/CocaineCong/Go-Spider-Demo
NormalStart(url) // 單線程爬蟲 ChannelStart(url) // Channel多線程爬蟲 WaitGroupStart(url) // Wait 多線程爬蟲
其實(shí)多線程的兩種都差不多的，只是有時(shí)候會(huì)因?yàn)闄C(jī)器的原因而導(dǎo)致一些誤差。
到此這篇關(guān)于Go語(yǔ)言并發(fā)爬蟲的具體實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)Go語(yǔ)言并發(fā)爬蟲 內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
基于Go語(yǔ)言實(shí)現(xiàn)類似tree命令的小程序
tree?命令是一個(gè)小型的跨平臺(tái)命令行程序，用于遞歸地以樹狀格式列出或顯示目錄的內(nèi)容。本文將通過(guò)Go語(yǔ)言實(shí)現(xiàn)類似tree命令的小程序，需要的可以參考一下2022-10-10
golang實(shí)現(xiàn)簡(jiǎn)單工廠、方法工廠、抽象工廠三種設(shè)計(jì)模式
這篇文章介紹了golang實(shí)現(xiàn)簡(jiǎn)單工廠、方法工廠、抽象工廠三種設(shè)計(jì)模式的方法，文中通過(guò)示例代碼介紹的非常詳細(xì)。對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2022-04-04
這篇文章主要為大家詳細(xì)介紹了Golang中的HTTP編程以及源碼解析，文中的示例代碼講解詳細(xì)，具有一定的借鑒價(jià)值，感興趣的可以了解一下2023-02-02
Golang的泛型已經(jīng)出來(lái)有一段時(shí)間了，大家應(yīng)該或多或少對(duì)它有所了解。雖然Golang的泛型在功能上確實(shí)比較簡(jiǎn)單，而且確實(shí)可能會(huì)增加代碼的復(fù)雜度，過(guò)度使用可能還會(huì)降低代碼可讀性。本文就來(lái)介紹一下Golang泛型的相關(guān)知識(shí)吧2023-04-04
在編程語(yǔ)言中，字符串發(fā)揮著重要的角色。這篇文章就來(lái)帶大家一起深度解密Go語(yǔ)言中的字符串，文中的示例代碼講解詳細(xì)，需要的可以參考一下2022-09-09
在本文中，小編將帶著大家深入探討?iota?的神奇力量，包括?iota?的介紹和應(yīng)用場(chǎng)景以及使用技巧和注意事項(xiàng)，準(zhǔn)備好了嗎，準(zhǔn)備一杯你最喜歡的飲料或茶，隨著本文一探究竟吧2023-07-07
要用Go獲取短信驗(yàn)證碼，通常需要連接到一個(gè)短信服務(wù)提供商的API，并通過(guò)該API發(fā)送請(qǐng)求來(lái)獲取驗(yàn)證碼，由于不同的短信服務(wù)提供商可能具有不同的API和授權(quán)方式，我將以一個(gè)簡(jiǎn)單的示例介紹如何使用Go語(yǔ)言來(lái)獲取短信驗(yàn)證碼,需要的朋友可以參考下2023-07-07
go 對(duì)象池化組件 bytebufferpool使用詳解
這篇文章主要為大家介紹了go 對(duì)象池化組件 bytebufferpool使用詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-10-10
go1.21中,slog這一被Go語(yǔ)言團(tuán)隊(duì)精心設(shè)計(jì)的結(jié)構(gòu)化日志包正式落地,本文將帶領(lǐng)讀者上手slog,體會(huì)其與傳統(tǒng)log的差異,感興趣的小伙伴快跟隨小編一起學(xué)習(xí)一下吧2023-09-09
GO的基礎(chǔ)知識(shí)掃盲注意事項(xiàng)
這篇文章主要介紹了GO的基礎(chǔ)知識(shí)注意事項(xiàng),本文是GO語(yǔ)言小白的掃盲文，主要講解了go語(yǔ)言的基本知識(shí),GO程序目錄結(jié)構(gòu)，GO程序包的導(dǎo)入與別名運(yùn)用，GO內(nèi)置關(guān)鍵字，GO注釋方法需要的朋友可以參考下2022-12-12