欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

golang 并發(fā)編程之生產(chǎn)者消費(fèi)者詳解

 更新時(shí)間:2021年05月08日 10:26:05   作者:hatlonely  
這篇文章主要介紹了golang 并發(fā)編程之生產(chǎn)者消費(fèi)者詳解,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧

golang 最吸引人的地方可能就是并發(fā)了,無(wú)論代碼的編寫(xiě)上,還是性能上面,golang 都有絕對(duì)的優(yōu)勢(shì)

學(xué)習(xí)一個(gè)語(yǔ)言的并發(fā)特性,我喜歡實(shí)現(xiàn)一個(gè)生產(chǎn)者消費(fèi)者模型,這個(gè)模型非常經(jīng)典,適用于很多的并發(fā)場(chǎng)景,下面我通過(guò)這個(gè)模型,來(lái)簡(jiǎn)單介紹一下 golang 的并發(fā)編程

go 并發(fā)語(yǔ)法

協(xié)程 go

協(xié)程是 golang 并發(fā)的最小單元,類似于其他語(yǔ)言的線程,只不過(guò)線程的實(shí)現(xiàn)借助了操作系統(tǒng)的實(shí)現(xiàn),每次線程的調(diào)度都是一次系統(tǒng)調(diào)用,需要從用戶態(tài)切換到內(nèi)核態(tài),這是一項(xiàng)非常耗時(shí)的操作,因此一般的程序里面線程太多會(huì)導(dǎo)致大量的性能耗費(fèi)在線程切換上。而在 golang 內(nèi)部實(shí)現(xiàn)了這種調(diào)度,協(xié)程在這種調(diào)度下面的切換非常的輕量級(jí),成百上千的協(xié)程跑在一個(gè) golang 程序里面是很正常的事情

golang 為并發(fā)而生,啟動(dòng)一個(gè)協(xié)程的語(yǔ)法非常簡(jiǎn)單,使用 go 關(guān)鍵字即可

go func () {
    // do something
}

同步信號(hào) sync.WaitGroup

多個(gè)協(xié)程之間可以通過(guò) sync.WaitGroup 同步,這個(gè)類似于 Linux 里面的信號(hào)量

var wg sync.WaitGroup  // 申明一個(gè)信號(hào)量
wg.Add(1)   // 信號(hào)量加一
wg.Done()   // 信號(hào)量減一
wg.Wait()   // 信號(hào)量為正時(shí)阻塞,直到信號(hào)量為0時(shí)被喚醒

通道 chan

通道可以理解為一個(gè)消息隊(duì)列,生產(chǎn)者往隊(duì)列里面放,消費(fèi)者從隊(duì)列里面取。通道可以使用 close 關(guān)閉

ic := make(chan int, 10)  // 申明一個(gè)通道
ic <- 10        // 往通道里面放
i := <- ic      // 從通道里面取
close(ic)       // 關(guān)閉通道

生產(chǎn)者消費(fèi)者實(shí)現(xiàn)

定義產(chǎn)品類

這個(gè)產(chǎn)品類根據(jù)具體的業(yè)務(wù)需求定義

type Product struct {
    name  int
    value int
}

生產(chǎn)者

如果 stop 標(biāo)志不為 false,不斷地往通道里面放 product,完成之后信號(hào)量完成

func producer(wg *sync.WaitGroup, products chan<- Product, name int, stop *bool) {
    for !*stop {
        product := Product{name: name, value: rand.Int()}
        products <- product
        fmt.Printf("producer %v produce a product: %#v\n", name, product)
        time.Sleep(time.Duration(200+rand.Intn(1000)) * time.Millisecond)
    }
    wg.Done()
}

消費(fèi)者

不斷地從通道里面取 product,然后作對(duì)應(yīng)的處理,直到通道被關(guān)閉,并且 products 里面為空, for 循環(huán)才會(huì)終止,而這正是我們期望的

func consumer(wg *sync.WaitGroup, products <-chan Product, name int) {
    for product := range products {
        fmt.Printf("consumer %v consume a product: %#v\n", name, product)
        time.Sleep(time.Duration(200+rand.Intn(1000)) * time.Millisecond)
    }
    wg.Done()
}

主線程

var wgp sync.WaitGroup
var wgc sync.WaitGroup
stop := false
products := make(chan Product, 10)
// 創(chuàng)建 5 個(gè)生產(chǎn)者和 5 個(gè)消費(fèi)者
for i := 0; i < 5; i++ {
    go producer(&wgp, products, i, &stop)
    go consumer(&wgc, products, i)
    wgp.Add(1)
    wgc.Add(1)
}
time.Sleep(time.Duration(1) * time.Second)
stop = true     // 設(shè)置生產(chǎn)者終止信號(hào)
wgp.Wait()      // 等待生產(chǎn)者退出
close(products) // 關(guān)閉通道
wgc.Wait()      // 等待消費(fèi)者退出

補(bǔ)充:Go并發(fā)編程--通過(guò)channel實(shí)現(xiàn)生產(chǎn)者消費(fèi)者模型

概述

生產(chǎn)者消費(fèi)者模型是多線程設(shè)計(jì)的經(jīng)典模型,該模型被廣泛的應(yīng)用到各個(gè)系統(tǒng)的多線程/進(jìn)程模型設(shè)計(jì)中。

本文介紹了Go語(yǔ)言中channel的特性,并通過(guò)Go語(yǔ)言實(shí)現(xiàn)了兩個(gè)生產(chǎn)者消費(fèi)者模型。

channel的一些特性

在Go中channel是非常重要的協(xié)程通信的手段,channel是雙向的通道,通過(guò)channel可以實(shí)現(xiàn)協(xié)程間數(shù)據(jù)的傳遞,通過(guò)channel也可以實(shí)現(xiàn)協(xié)程間的同步(后面會(huì)有介紹)。

本文介紹的生產(chǎn)者消費(fèi)者模型主要用到了channel的以下特性:任意時(shí)刻只能有一個(gè)協(xié)程能夠?qū)hannel中某一個(gè)item進(jìn)行訪問(wèn)。

單生產(chǎn)者單消費(fèi)者模型

把生產(chǎn)者和消費(fèi)者都放到一個(gè)無(wú)線循環(huán)中,這個(gè)和我們的服務(wù)器端的任務(wù)處理非常相似。生產(chǎn)者不斷的向channel中放入數(shù)據(jù),而消費(fèi)者不斷的從channel中取出數(shù)據(jù),并對(duì)數(shù)據(jù)進(jìn)行處理(打?。?。

由于生產(chǎn)者的協(xié)程不會(huì)退出,所以channel的寫(xiě)入會(huì)永久存在,這樣當(dāng)channel中沒(méi)有放入數(shù)據(jù)時(shí),消費(fèi)者端將會(huì)阻塞,等待生產(chǎn)者端放入數(shù)據(jù)。

代碼的實(shí)現(xiàn)如下:

package main
import (
    "fmt"
    "time"
)
var ch1 chan int = make(chan int)
var bufChan chan int = make(chan int, 1000)
var msgChan chan int = make(chan int)
func sum(a int, b int) {
    ch1 <- a + b
}
// write data to channel
func writer(max int) {
    for {
        for i := 0; i < max; i++ {  // 簡(jiǎn)單的向channel中放入一個(gè)整數(shù)
            bufChan <- i
            time.Sleep(1 * time.Millisecond)  //控制放入的頻率
        }
    }
}
// read data fro m channel
func reader(max int) {
    for {
        r := <-bufChan
        fmt.Printf("read value: %d\n", r)
    }
    // 通知主線程,工作結(jié)束了,這一步可以省略
    msgChan <- 1
}
func testWriterAndReader(max int) {
    go writer(max)
    go reader(max)
    // writer 和reader的任務(wù)結(jié)束了,主線程會(huì)得到通知 
    res := <-msgChan
    fmt.Printf("task is done: value=%d\n", res)
}
func main() {
    testWriterAndReader(100)
}

多生產(chǎn)者消費(fèi)者模型

我們可以利用channel在某個(gè)時(shí)間點(diǎn)只能有一個(gè)協(xié)程能夠訪問(wèn)其中的某一個(gè)數(shù)據(jù),的特性來(lái)實(shí)現(xiàn)生產(chǎn)者消費(fèi)者模型。由于channel具有這樣的特性,我們?cè)诜艛?shù)據(jù)和消費(fèi)數(shù)據(jù)時(shí)可以不需要加鎖。

package main
import (
    "time"
    "fmt"
    "os"
)
var ch1 chan int = make(chan int)
var bufChan chan int = make(chan int, 1000)
var msgChan chan string = make(chan string)
func sum(a int, b int) {
    ch1 <- a + b
}
// write data to channel
func writer(max int) {
    for {
        for i := 0; i < max; i++ {
            bufChan <- i
            fmt.Fprintf(os.Stderr, "%v write: %d\n", os.Getpid(), i)
            time.Sleep(10 * time.Millisecond)
        }
    }
}
// read data fro m channel
func reader(name string) {
    for {
        r := <-bufChan
        fmt.Printf("%s read value: %d\n", name, r)
    }
    msgChan <- name
}
func testWriterAndReader(max int) {
    // 開(kāi)啟多個(gè)writer的goroutine,不斷地向channel中寫(xiě)入數(shù)據(jù)
    go writer(max)
    go writer(max)
    // 開(kāi)啟多個(gè)reader的goroutine,不斷的從channel中讀取數(shù)據(jù),并處理數(shù)據(jù)
    go reader("read1")
    go reader("read2")
    go reader("read3")
    // 獲取三個(gè)reader的任務(wù)完成狀態(tài)
    name1 := <-msgChan
    name2 := <-msgChan
    name3 := <-msgChan
    fmt.Println("%s,%s,%s: All is done!!", name1, name2, name3)
}
func main() {
    testWriterAndReader(100)
}

輸出如下:

read3 read value: 0

80731 write: 0

80731 write: 0

read1 read value: 0

80731 write: 1

read2 read value: 1

80731 write: 1

read3 read value: 1

80731 write: 2

read2 read value: 2

80731 write: 2

... ...

總結(jié)

本文通過(guò)channel實(shí)現(xiàn)了經(jīng)典的生產(chǎn)者和消費(fèi)者模型,利用了channel的特性。但要注意,當(dāng)消費(fèi)者的速度小于生產(chǎn)者時(shí),channel就有可能產(chǎn)生擁塞,導(dǎo)致占用內(nèi)存增加,所以,在實(shí)際場(chǎng)景中需要考慮channel的緩沖區(qū)的大小。

設(shè)置了channel的大小,當(dāng)生產(chǎn)的數(shù)據(jù)大于channel的容量時(shí),生產(chǎn)者將會(huì)阻塞,這些問(wèn)題都是要在實(shí)際場(chǎng)景中需要考慮的。

一個(gè)解決辦法就是使用一個(gè)固定的數(shù)組或切片作為環(huán)形緩沖區(qū),而非channel,通過(guò)Sync包的機(jī)制來(lái)進(jìn)行同步,實(shí)現(xiàn)生產(chǎn)者消費(fèi)者模型,這樣可以避免由于channel滿而導(dǎo)致消費(fèi)者端阻塞。

但,對(duì)于環(huán)形緩沖區(qū)而言,可能會(huì)覆蓋老的數(shù)據(jù),同樣需要考慮具體的使用場(chǎng)景。關(guān)于環(huán)形緩沖區(qū)的原理和實(shí)現(xiàn),在分析Sync包的使用時(shí)再進(jìn)一步分析。

以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教。

相關(guān)文章

  • golang官方嵌入文件到可執(zhí)行程序的示例詳解

    golang官方嵌入文件到可執(zhí)行程序的示例詳解

    這篇文章主要介紹了golang官方嵌入文件到可執(zhí)行程序,本文通過(guò)示例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2021-02-02
  • 淺析go語(yǔ)言如何實(shí)現(xiàn)協(xié)程的搶占式調(diào)度的

    淺析go語(yǔ)言如何實(shí)現(xiàn)協(xié)程的搶占式調(diào)度的

    go語(yǔ)言通過(guò)GMP模型實(shí)現(xiàn)協(xié)程并發(fā),為了避免單協(xié)程持續(xù)持有線程導(dǎo)致線程隊(duì)列中的其他協(xié)程饑餓問(wèn)題,設(shè)計(jì)者提出了一個(gè)搶占式調(diào)度機(jī)制,本文會(huì)基于一個(gè)簡(jiǎn)單的代碼示例對(duì)搶占式調(diào)度過(guò)程進(jìn)行深入講解剖析
    2024-04-04
  • Go語(yǔ)言通過(guò)反射實(shí)現(xiàn)獲取各種類型變量的值

    Go語(yǔ)言通過(guò)反射實(shí)現(xiàn)獲取各種類型變量的值

    反射是程序在運(yùn)行期間獲取變量的類型和值、或者執(zhí)行變量的方法的能力,這篇文章主要為大家講講Go語(yǔ)言通過(guò)反射獲取各種類型變量值的方法,需要的可以參考下
    2023-07-07
  • Go+Vue開(kāi)發(fā)一個(gè)線上外賣應(yīng)用的流程(用戶名密碼和圖形驗(yàn)證碼)

    Go+Vue開(kāi)發(fā)一個(gè)線上外賣應(yīng)用的流程(用戶名密碼和圖形驗(yàn)證碼)

    這篇文章主要介紹了Go+Vue開(kāi)發(fā)一個(gè)線上外賣應(yīng)用(用戶名密碼和圖形驗(yàn)證碼),本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2020-11-11
  • Go保證并發(fā)安全底層實(shí)現(xiàn)詳解

    Go保證并發(fā)安全底層實(shí)現(xiàn)詳解

    這篇文章主要為大家介紹了Go保證并發(fā)安全底層實(shí)現(xiàn)詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2022-09-09
  • go寫(xiě)文件后出現(xiàn)大量NUL字符問(wèn)題解決

    go寫(xiě)文件后出現(xiàn)大量NUL字符問(wèn)題解決

    本文主要介紹了go寫(xiě)文件后出現(xiàn)大量NUL字符問(wèn)題解決,由于每次寫(xiě)的時(shí)候設(shè)置的長(zhǎng)度都是64,在某次不足64時(shí),byte切片空余位置被填充為空字符,下面就來(lái)介紹一下如何解決
    2023-12-12
  • golang?防緩存擊穿singleflight的實(shí)現(xiàn)

    golang?防緩存擊穿singleflight的實(shí)現(xiàn)

    本文主要介紹了golang?防緩存擊穿singleflight的實(shí)現(xiàn),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2022-08-08
  • 一文帶你熟悉Go語(yǔ)言中的for循環(huán)

    一文帶你熟悉Go語(yǔ)言中的for循環(huán)

    這篇文章主要和大家分享一下Go語(yǔ)言中for循環(huán)的定義與使用,文中的示例代碼講解詳細(xì),對(duì)我們學(xué)習(xí)Go語(yǔ)言有一定的幫助,需要的可以參考一下
    2022-11-11
  • GO語(yǔ)言求100以內(nèi)的素?cái)?shù)

    GO語(yǔ)言求100以內(nèi)的素?cái)?shù)

    這篇文章主要介紹了GO語(yǔ)言求100以內(nèi)的素?cái)?shù),主要通過(guò)篩選法來(lái)實(shí)現(xiàn),涉及GO語(yǔ)言基本的循環(huán)與函數(shù)調(diào)用方法,需要的朋友可以參考下
    2014-12-12
  • golang的HTTP基本認(rèn)證機(jī)制實(shí)例詳解

    golang的HTTP基本認(rèn)證機(jī)制實(shí)例詳解

    這篇文章主要介紹了golang的HTTP基本認(rèn)證機(jī)制,結(jié)合實(shí)例形式較為詳細(xì)的分析了HTTP請(qǐng)求響應(yīng)的過(guò)程及認(rèn)證機(jī)制實(shí)現(xiàn)技巧,需要的朋友可以參考下
    2016-07-07

最新評(píng)論