欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

go語言實(shí)現(xiàn)并發(fā)網(wǎng)絡(luò)爬蟲的示例代碼

 更新時(shí)間:2023年03月28日 14:15:20   作者:q56731523  
本文主要介紹了go語言實(shí)現(xiàn)并發(fā)網(wǎng)絡(luò)爬蟲的示例代碼,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

go語言做爬蟲也是很少嘗試,首先我的思路是看一下爬蟲的串行實(shí)現(xiàn),然后通過兩個(gè)并發(fā)實(shí)現(xiàn):一個(gè)使用鎖,另一個(gè)使用通道

這里不涉及從頁面中提取URL的邏輯(請(qǐng)查看Go框架colly的內(nèi)容)。網(wǎng)絡(luò)抓取只是作為一個(gè)例子來考察Go的并發(fā)性。

我們想從我們的起始頁中提取所有的URL,將這些URL保存到一個(gè)列表中,然后對(duì)列表中的每個(gè)URL做同樣的處理。頁面的圖很可能是循環(huán)的,所以我們需要記住哪些頁面已經(jīng)經(jīng)歷了這個(gè)過程(或者在使用并發(fā)時(shí),處于這個(gè)過程的中間)。

在這里插入圖片描述

串行爬蟲首先檢查我們是否已經(jīng)在獲取地圖中獲取了該頁面。如果我們沒有,那么它就在頁面上找到的每個(gè)URL上調(diào)用自己。注意:map 在Go中是引用類型,所以每次調(diào)用都會(huì)得到相同的 map。

func Serial(url string, fetcher Fetcher, fetched map[string]bool) {
    if fetched[url] {
        return
    }
    fetched[url] = true
    urls, err := fetcher.Fetch(url)
    if err != nil {
        return
    }
    for _, u := range urls {
        Serial(u, fetcher, fetched)
    }
    return
}
func main() {
    Serial(<page>, fetcher, make(map[string]bool))
}

fetcher將包含提取URLs到列表中的邏輯(也可以對(duì)頁面的內(nèi)容做一些處理)。這個(gè)實(shí)現(xiàn)不是本講的重點(diǎn)。

由于網(wǎng)絡(luò)速度很慢,我們可以使用并發(fā)性來加快這個(gè)速度。為了實(shí)現(xiàn)這一點(diǎn),我們需要使用鎖(在讀/寫時(shí)鎖定已經(jīng)獲取的頁面地圖)和 waitgroup(等待所有的goroutine完成)。

已經(jīng)獲取的頁面的 map 只能由持有鎖的線程訪問,因?yàn)槲覀儾幌M鄠€(gè)線程開始處理同一個(gè)URL。如果在一個(gè)線程的讀和寫之間,另一個(gè)線程在第一個(gè)線程更新之前從 map 上得到了相同的讀數(shù),這就可能發(fā)生。

我們定義了fetchState結(jié)構(gòu),將 map 和鎖組合在一起,并定義了一個(gè)方法來初始化它。

爬蟲程序的開始是一樣的,檢查我們是否已經(jīng)獲取了URL,但這次使用sync.Mutex來鎖定 map,如前所述。然后,對(duì)于頁面上發(fā)現(xiàn)的每個(gè)URL,我們?cè)谝粋€(gè)新的goroutine中啟動(dòng)相同的函數(shù)。在啟動(dòng)之前,我們將WaitGroup的計(jì)數(shù)器增加1,done.Wait()在退出之前等待所有的抓取工作完成。

func ConcurrentMutex(url string, fetcher Fetcher, f *fetchState) {
    f.mu.Lock()
    already := f.fetched[url]
    f.fetched[url] = true
    f.mu.Unlock()
    if already {
        return
    }
    urls, err := fetcher.Fetch(url)
    if err != nil {
        return
    }
    var done sync.WaitGroup
    for _, u := range urls {
        done.Add(1)
        go func(u string) {
            defer done.Done()
            ConcurrentMutex(u, fetcher, f)
        }(u)
    }
    done.Wait()
    return
}
type fetchState struct {
    mu      sync.Mutex
    fetched map[string]bool
}
func makeState() *fetchState {
    f := &fetchState{}
    f.fetched = make(map[string]bool)
    return f
}
func main() {
    ConcurrentMutex(<page>, fetcher, makeState())
}

注意:

[1] done.Done()的調(diào)用被推遲了,以防我們?cè)谄渲幸粋€(gè)調(diào)用中出現(xiàn)錯(cuò)誤,在這種情況下,我們?nèi)匀灰f減WaitGroup的計(jì)數(shù)器。

[2] 這段代碼的一個(gè)問題是,我們沒有限制線程的數(shù)量。但值得一提的是,goroutines比其他語言的線程更輕量級(jí),并且由Go運(yùn)行時(shí)管理,系統(tǒng)調(diào)用更少。

[3] 我們把字符串u傳給立即函數(shù),以便制作一個(gè)URL的副本,然后才把它送到goroutine,因?yàn)樽兞縰在外層for循環(huán)中發(fā)生了變化。要理解這樣做的必要性,一個(gè)更簡(jiǎn)單的例子是,在沒有WaitGroup的情況下。

func checkThisOut() {
  s := "abc"
  sec := time.Second
  go func() {time.Sleep(sec); fmt.Printf("s = %v\n", s)}()
  go func(u string) {time.Sleep(sec); fmt.Printf("u = %v\n", u)}(s)
  s = "def"
  time.Sleep(2 * sec)
}
// this prints out: u = abc, s = def

[4] 我們可以運(yùn)行內(nèi)置的數(shù)據(jù)競(jìng)賽檢測(cè)器,通過運(yùn)行g(shù)o run -race .來幫助檢測(cè)競(jìng)賽條件。它在這個(gè)例子中非常有效。

下一個(gè)并發(fā)版本在線程之間完全不共享內(nèi)存!嗯,這并不準(zhǔn)確。我們只是不會(huì)自己同步訪問共享數(shù)據(jù)。相反,我們使用一個(gè)通道在goroutine之間進(jìn)行通信。

在這個(gè)最后的版本中,我們有一個(gè)主函數(shù)在主線程上運(yùn)行。只有這個(gè)函數(shù)能看到 map 并從通道中讀取。channel ,像 map 一樣,也是引用類型。所以這里只有一個(gè)通道。

在啟動(dòng)時(shí),我們將第一個(gè)URL寫到通道上。這是在一個(gè)goroutine中完成的,因?yàn)橄蛞粋€(gè)沒有緩沖的通道的寫入會(huì)導(dǎo)致goroutine暫停,直到該值被另一個(gè)goroutine讀取。

我們?cè)谝粋€(gè)for循環(huán)中從通道中讀取URL的列表(從一個(gè)沒有緩沖的通道中讀取也會(huì)阻塞)。然后,我們以與之前的實(shí)現(xiàn)類似的方式瀏覽該列表。通過使用一個(gè)計(jì)數(shù)器,一旦沒有更多的工作者,這個(gè)循環(huán)就會(huì)中斷。

工作者獲取URL的列表,將它們傳遞給通道。如果出現(xiàn)錯(cuò)誤,會(huì)傳遞一個(gè)空列表,這樣從通道讀取的for循環(huán)最終會(huì)退出(計(jì)數(shù)器的設(shè)置方式是,我們等待從每個(gè)goroutine讀取一個(gè)值)。

func ConcurrentChannel(url string, fetcher Fetcher) {
    ch := make(chan []string)
    go func() {
        ch <- []string{url}
    }()
    master(ch, fetcher)
}
func master(ch chan []string, fetcher Fetcher) {
    n := 1
    fetched := make(map[string]bool)
    for urls := range ch {
        for _, u := range urls {
            if fetched[u] == false {
                fetched[u] = true
                n += 1
                go worker(u, ch, fetcher)
            }
        }
        n -= 1
        if n == 0 {
            break
        }
    }
}
func worker(url string, ch chan []string, fetcher Fetcher) {
    urls, err := fetcher.Fetch(url)
    if err != nil {
        ch <- []string{}
    } else {
        ch <- urls
    }
}

到此這篇關(guān)于go語言實(shí)現(xiàn)并發(fā)網(wǎng)絡(luò)爬蟲的示例代碼的文章就介紹到這了,更多相關(guān)go語言并發(fā)網(wǎng)絡(luò)爬蟲內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • GoFrame框架gredis優(yōu)雅的取值和類型轉(zhuǎn)換

    GoFrame框架gredis優(yōu)雅的取值和類型轉(zhuǎn)換

    這篇文章主要為大家介紹了GoFrame框架gredis優(yōu)雅的取值和類型轉(zhuǎn)換,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2022-06-06
  • Golang開發(fā)命令行之flag包的使用方法

    Golang開發(fā)命令行之flag包的使用方法

    這篇文章主要介紹Golang開發(fā)命令行及flag包的使用方法,日常命令行操作,相對(duì)應(yīng)的眾多命令行工具是提高生產(chǎn)力的必備工具,本文圍繞該內(nèi)容展開話題,需要的朋友可以參考一下
    2021-10-10
  • Go泛型應(yīng)用工廠方法及泛型使用

    Go泛型應(yīng)用工廠方法及泛型使用

    這篇文章主要介紹了Go泛型應(yīng)用工廠方法及泛型使用,結(jié)合工廠方法+泛型方法來看一下泛型到底是如何在業(yè)務(wù)場(chǎng)景中使用的,需要的小伙伴可以參考一下
    2022-07-07
  • 詳解Go語言中new和make關(guān)鍵字的區(qū)別

    詳解Go語言中new和make關(guān)鍵字的區(qū)別

    本篇文章來介紹一道非常常見的面試題,到底有多常見呢?可能很多面試的開場(chǎng)白就是由此開始的。那就是 new 和 make 這兩個(gè)內(nèi)置函數(shù)的區(qū)別,希望對(duì)大家有所幫助
    2023-03-03
  • Golang中的sync.WaitGroup用法實(shí)例

    Golang中的sync.WaitGroup用法實(shí)例

    這篇文章主要介紹了Golang中的sync.WaitGroup用法實(shí)例,WaitGroup的用途,它能夠一直等到所有的goroutine執(zhí)行完成,并且阻塞主線程的執(zhí)行,直到所有的goroutine執(zhí)行完成,需要的朋友可以參考下
    2015-07-07
  • 最新評(píng)論