欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Go語言并發(fā)爬蟲的具體實現(xiàn)

 更新時間:2021年12月14日 10:28:10   作者:小生凡一  
本文主要介紹了Go語言并發(fā)爬蟲的具體實現(xiàn),文中通過示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下

寫在前面

這篇文章主要讓大家明白多線程爬蟲,因為go語言實現(xiàn)并發(fā)是很容易的。

這次的服務端,是我們之前搭建的電子商城平臺,所以我們不擔心ip被封之類的問題。
而實際生產(chǎn)環(huán)境中,其實我們都是用python爬蟲的。python實現(xiàn)多線程也很簡單。

這次我們可以試試新玩法,試試go語言的并發(fā)爬蟲。

主要是爬取第一頁的商品,爬取十次,比較單線程和多線程的時間。

1. 單線程爬蟲

?定義一個用戶

var Client http.Client

主函數(shù)

func main() {
	url := "http://localhost:3000/api/v1/products"
	start := time.Now()
	for i := 0; i < 10; i++ {
		Spider(url, i)
	}
	elapsed := time.Since(start)
	fmt.Printf("Time %s", elapsed)
}

爬取函數(shù)

func Spider(url string, i int) {
	reqSpider, err := http.NewRequest("GET", url, nil)
	if err != nil {
		log.Fatal(err)
	}
	reqSpider.Header.Set("content-length", "0")
	reqSpider.Header.Set("accept", "*/*")
	reqSpider.Header.Set("x-requested-with", "XMLHttpRequest")
	respSpider, err := Client.Do(reqSpider)
	if err != nil {
		log.Fatal(err)
	}
	bodyText, _ := ioutil.ReadAll(respSpider.Body)
	var result Result
	_ = json.Unmarshal(bodyText, &result)
	fmt.Println(i,result.Data)
}

運行時間為:651.8207ms

在這里插入圖片描述

2. 多線程爬蟲

2.1 channel main函數(shù)

我們構(gòu)造一個無緩沖的通道,來阻塞主進程,等待子進程的執(zhí)行。

func main() {
	url := "http://localhost:3000/api/v1/products"
	ch := make(chan bool)
	start := time.Now()
	for i := 0; i < 10; i++ {
		go Spider(url, ch, i)
	}
	for i := 0; i < 10; i++ {
		<-ch
	}
	elapsed := time.Since(start)
	fmt.Printf("Time %s", elapsed)
}

最后記得在爬蟲的結(jié)束的時候,把值寫入到通道中,不然會一直阻塞主進程

在這里插入圖片描述

運行時間:187.7921ms 比之前快了非常多。

在這里插入圖片描述

2.2 sync.WaitGroup

定義一個進程組并加10個進程

	var wg sync.WaitGroup
	wg.Add(10)

開辟十個goruntime

	for i := 0; i < 10; i++ {
		go func(i int) {
			defer wg.Done()
			SpiderWaitGroup(url,i)
		}(i)
	}

阻塞主進程

wg.Wait()

結(jié)果:64.5246ms

在這里插入圖片描述

3. 源碼地址

GitHub地址:https://github.com/CocaineCong/Go-Spider-Demo

	NormalStart(url) // 單線程爬蟲
	ChannelStart(url) // Channel多線程爬蟲
	WaitGroupStart(url) // Wait 多線程爬蟲

其實多線程的兩種都差不多的,只是有時候會因為機器的原因而導致一些誤差。

在這里插入圖片描述

到此這篇關于Go語言并發(fā)爬蟲的具體實現(xiàn)的文章就介紹到這了,更多相關Go語言并發(fā)爬蟲 內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!

相關文章

  • 基于Go語言實現(xiàn)類似tree命令的小程序

    基于Go語言實現(xiàn)類似tree命令的小程序

    tree?命令是一個小型的跨平臺命令行程序,用于遞歸地以樹狀格式列出或顯示目錄的內(nèi)容。本文將通過Go語言實現(xiàn)類似tree命令的小程序,需要的可以參考一下
    2022-10-10
  • golang實現(xiàn)簡單工廠、方法工廠、抽象工廠三種設計模式

    golang實現(xiàn)簡單工廠、方法工廠、抽象工廠三種設計模式

    這篇文章介紹了golang實現(xiàn)簡單工廠、方法工廠、抽象工廠三種設計模式的方法,文中通過示例代碼介紹的非常詳細。對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2022-04-04
  • Golang?HTTP編程的源碼解析詳解

    Golang?HTTP編程的源碼解析詳解

    這篇文章主要為大家詳細介紹了Golang中的HTTP編程以及源碼解析,文中的示例代碼講解詳細,具有一定的借鑒價值,感興趣的可以了解一下
    2023-02-02
  • 詳解如何利用Golang泛型提高編碼效率

    詳解如何利用Golang泛型提高編碼效率

    Golang的泛型已經(jīng)出來有一段時間了,大家應該或多或少對它有所了解。雖然Golang的泛型在功能上確實比較簡單,而且確實可能會增加代碼的復雜度,過度使用可能還會降低代碼可讀性。本文就來介紹一下Golang泛型的相關知識吧
    2023-04-04
  • 深度解密Go語言中字符串的使用

    深度解密Go語言中字符串的使用

    在編程語言中,字符串發(fā)揮著重要的角色。這篇文章就來帶大家一起深度解密Go語言中的字符串,文中的示例代碼講解詳細,需要的可以參考一下
    2022-09-09
  • 詳解Go語言中iota的應用

    詳解Go語言中iota的應用

    在本文中,小編將帶著大家深入探討?iota?的神奇力量,包括?iota?的介紹和應用場景以及使用技巧和注意事項,準備好了嗎,準備一杯你最喜歡的飲料或茶,隨著本文一探究竟吧
    2023-07-07
  • 用Go獲取短信驗證碼的示例代碼

    用Go獲取短信驗證碼的示例代碼

    要用Go獲取短信驗證碼,通常需要連接到一個短信服務提供商的API,并通過該API發(fā)送請求來獲取驗證碼,由于不同的短信服務提供商可能具有不同的API和授權(quán)方式,我將以一個簡單的示例介紹如何使用Go語言來獲取短信驗證碼,需要的朋友可以參考下
    2023-07-07
  • go 對象池化組件 bytebufferpool使用詳解

    go 對象池化組件 bytebufferpool使用詳解

    這篇文章主要為大家介紹了go 對象池化組件 bytebufferpool使用詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
    2022-10-10
  • go1.21中slog日志包用法入門

    go1.21中slog日志包用法入門

    go1.21中,slog這一被Go語言團隊精心設計的結(jié)構(gòu)化日志包正式落地,本文將帶領讀者上手slog,體會其與傳統(tǒng)log的差異,感興趣的小伙伴快跟隨小編一起學習一下吧
    2023-09-09
  • GO的基礎知識掃盲注意事項

    GO的基礎知識掃盲注意事項

    這篇文章主要介紹了GO的基礎知識注意事項,本文是GO語言小白的掃盲文,主要講解了go語言的基本知識,GO程序目錄結(jié)構(gòu),GO程序包的導入與別名運用,GO內(nèi)置關鍵字,GO注釋方法需要的朋友可以參考下
    2022-12-12

最新評論