欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Golang的Fork/Join實現(xiàn)代碼

 更新時間:2023年01月15日 15:25:45   作者:互聯(lián)網(wǎng)速遞520  
Fork/Join本質上是一種任務分解,將一個很大的任務分解成若干個小任務,然后再對小任務進一步分解,直到最小顆粒度,然后并發(fā)執(zhí)行,對Golang的Fork/Join實現(xiàn)代碼感興趣的朋友跟隨小編一起看看吧

做過Java開發(fā)的同學肯定知道,JDK7加入的Fork/Join是一個非常優(yōu)秀的設計,到了JDK8,又結合并行流中進行了優(yōu)化和增強,是一個非常好的工具。

1、Fork/Join是什么

Fork/Join本質上是一種任務分解,即:將一個很大的任務分解成若干個小任務,然后再對小任務進一步分解,直到最小顆粒度,然后并發(fā)執(zhí)行。

這么做的優(yōu)點很明顯,就是可以大幅提升計算性能,缺點嘛,也有一點,那就是資源開銷要大一些。

在網(wǎng)上找了一張圖,任務分解就是這個意思:

2、Golang中的Fork/Join實現(xiàn)

對于Golang中的Fork/Join的實現(xiàn),我參考了JDK的源碼,利用了Goroutine特性,這樣就能充分利用MPG模型,不必自己再處理任務竊取等問題了,用起來還是蠻爽的。

廢話不多說,請看代碼:

package like_fork_join
 
import (
    "fmt"
    "github.com/oklog/ulid/v2"
)
 
const defaultPageSize = 10
 
type MyForkJoinTask struct {
    size int
}
 
// NewMyTask 初始化一個任務
func NewMyTask(pageSize int) *MyForkJoinTask {
    var size = defaultPageSize
    if pageSize > size {
        size = pageSize
    }
    return &MyForkJoinTask{
        size: size,
    }
}
 
// Do 執(zhí)行任務時,傳入一個切片
func (t *MyForkJoinTask) Do(numbers []int) int {
    JoinCh := make(chan bool, 1)
    resultCh := make(chan int, 1)
    t.do(numbers, JoinCh, resultCh, ulid.Make().String())
    result := <-resultCh
    return result
}
 
func (t *MyForkJoinTask) do(numbers []int, joinCh chan bool, resultCh chan int, id string) {
    defer func() {
        joinCh <- true
        close(joinCh)
        close(resultCh)
    }()
    fmt.Printf("id %s numbers %+v\n", id, numbers)
    // 任務小于最小顆粒度時,直接執(zhí)行邏輯(此處是求和),不再拆分,否則進行分治
    if len(numbers) <= t.size {
        var sum = 0
        for _, number := range numbers {
            sum += number
        }
        resultCh <- sum
        fmt.Printf("id %s numbers %+v, result %+v\n", id, numbers, sum)
        return
    } else {
        start := 0
        end := len(numbers)
        middle := (start + end) / 2
 
        // 左
        leftJoinCh := make(chan bool, 1)
        leftResultCh := make(chan int, 1)
        leftId := ulid.Make().String()
        go t.do(numbers[start:middle], leftJoinCh, leftResultCh, id+"->left->"+leftId)
 
        // 右
        rightJoinCh := make(chan bool, 1)
        rightResultCh := make(chan int, 1)
        rightId := ulid.Make().String()
        go t.do(numbers[middle:], rightJoinCh, rightResultCh, id+"->right->"+rightId)
 
        // 等待左邊和右邊分治子任務結束
        var leftDone, rightDone = false, false
        for {
            select {
            case _, ok := <-leftJoinCh:
                if ok {
                    fmt.Printf("left %s join done\n", leftId)
                    leftDone = true
                }
            case _, ok := <-rightJoinCh:
                if ok {
                    fmt.Printf("right %s join done\n", rightId)
                    rightDone = true
                }
            }
            if leftDone && rightDone {
                break
            }
        }
 
        // 取結果
        var (
            left            = 0
            right           = 0
            leftResultDone  = false
            rightResultDone = false
        )
        for {
            select {
            case l, ok := <-leftResultCh:
                if ok {
                    fmt.Printf("id %s numbers %+v, left %s return: %+v\n", id, numbers, leftId, left)
                    left = l
                    leftResultDone = true
                }
            case r, ok := <-rightResultCh:
                if ok {
                    fmt.Printf("id %s numbers %+v, right %s return: %+v\n", id, numbers, rightId, right)
                    right = r
                    rightResultDone = true
                }
            }
            if leftResultDone && rightResultDone {
                break
            }
        }
 
        resultCh <- left + right
        return
    }
}

代碼也不復雜,有注釋,大家耐心讀一下就明白了。

3、測試驗證

我寫了一個比較有壓力的測試用例代碼,請看:

package like_fork_join
 
import (
    "fmt"
    "testing"
)
 
func TestMyTask_Do(t1 *testing.T) {
    type args struct {
        numbers []int
    }
    const max = 10000
    var nums = make([]int, 0, max)
    var want = 0
    for i := 1; i <= max; i++ {
        nums = append(nums, i)
        want += i
    }
    tests := []struct {
        name string
        args args
        want int
    }{
        {name: fmt.Sprintf("sum(1,%d)", max), args: args{numbers: nums}, want: want},
    }
    for _, tt := range tests {
        t1.Run(tt.name, func(t1 *testing.T) {
            for i := 0; i <= 100; i += 5 {
                t := NewMyTask(i)
                if got := t.Do(tt.args.numbers); got != tt.want {
                    t1.Errorf("Do() = %v, want %v", got, tt.want)
                }
            }
        })
    }
}

測試成功:

    --- PASS: TestMyTask_Do/sum(1,10000) (1257.79s)
PASS

4、小優(yōu)化

刪除所有fmt包的控制臺輸出,再跑單元測試結果:

=== RUN   TestMyTask_Do
--- PASS: TestMyTask_Do (60.53s)
=== RUN   TestMyTask_Do/sum(1,10000)
    --- PASS: TestMyTask_Do/sum(1,10000) (60.53s)
PASS

20萬次加法計算,長度為1萬的數(shù)組的20次計算,60秒搞定,性能巨強,Golang就是棒!

5、后續(xù)計劃

計劃后續(xù)再研究研究,看能否把執(zhí)行任務的邏輯做成泛型和函數(shù)閉包,給抽象出來,這樣就能單獨形成一個通用型的代碼包,供外部各種應用程序使用了,不過考慮到goroutine的上下文等問題,估計會讓代碼比較復雜,眼下這個版本足夠簡單,也能滿足絕大多數(shù)場景了。

到此這篇關于Golang的Fork/Join實現(xiàn)的文章就介紹到這了,更多相關Golang的Fork/Join實現(xiàn)內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!

相關文章

  • Golang使用Gin框架實現(xiàn)HTTP響應格式統(tǒng)一處理

    Golang使用Gin框架實現(xiàn)HTTP響應格式統(tǒng)一處理

    在gin框架中,我們可以定義一個中間件來處理統(tǒng)一的HTTP響應格式,本文主要為大家介紹了具體是怎么定義實現(xiàn)這樣的中間件的,感興趣的小伙伴可以了解一下
    2023-07-07
  • Golang try catch與錯誤處理的實現(xiàn)

    Golang try catch與錯誤處理的實現(xiàn)

    社區(qū)不少人在談論 golang 為毛不用try/catch模式,而采用苛刻的recovery、panic、defer組合,本文就來詳細的介紹一下,感興趣的可以了解一下
    2021-07-07
  • Go語言的變量定義詳情

    Go語言的變量定義詳情

    這篇文章主要介紹了Go語言的變量定義詳情,go定義變量的方式和c,c++,java語法不一樣,var?變量名類型,var在前,變量名在中間,類型在后面,下文更多詳細內(nèi)容需要的小伙伴可以參考一下
    2022-03-03
  • Go使用sync.Map來解決map的并發(fā)操作問題

    Go使用sync.Map來解決map的并發(fā)操作問題

    在 Golang 中 map 不是并發(fā)安全的,sync.Map 的引入確實解決了 map 的并發(fā)安全問題,本文就詳細的介紹一下如何使用,感興趣的可以了解一下
    2021-10-10
  • 使用Golang調用攝像頭并進行圖像處理

    使用Golang調用攝像頭并進行圖像處理

    近年來,攝像頭成為了我們生活中不可或缺的設備之一,從智能手機到安全監(jiān)控系統(tǒng),無處不在的攝像頭給我們帶來了便利和安全,在開發(fā)攝像頭相關的應用程序時,選擇一種高效和易用的編程語言是非常重要的,本文將介紹如何使用Golang調用攝像頭并進行圖像處理
    2023-11-11
  • 深入剖析Go語言中的Select語句

    深入剖析Go語言中的Select語句

    select是Go中的一個控制結構,類似于switch語句,本文主要介紹了深入剖析Go語言中的Select語句,具有一定的參考價值,感興趣的可以了解一下
    2023-12-12
  • Go語言讀取YAML 配置文件的兩種方式分享

    Go語言讀取YAML 配置文件的兩種方式分享

    在日常開發(fā)中,YAML 格式的文件基本上被默認為是配置文件,其內(nèi)容因為縮進帶來的層級感看起來非常直觀和整潔。本文分享了讀取YAML 配置文件的兩種方式,需要的可以參考一下
    2022-12-12
  • gin正確多次讀取http?request?body內(nèi)容實現(xiàn)詳解

    gin正確多次讀取http?request?body內(nèi)容實現(xiàn)詳解

    這篇文章主要為大家介紹了gin正確多次讀取http?request?body內(nèi)容實現(xiàn)詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
    2023-01-01
  • 基于Go語言實現(xiàn)類似tree命令的小程序

    基于Go語言實現(xiàn)類似tree命令的小程序

    tree?命令是一個小型的跨平臺命令行程序,用于遞歸地以樹狀格式列出或顯示目錄的內(nèi)容。本文將通過Go語言實現(xiàn)類似tree命令的小程序,需要的可以參考一下
    2022-10-10
  • golang如何實現(xiàn)proxy代理簡單方法

    golang如何實現(xiàn)proxy代理簡單方法

    這篇文章主要給大家介紹了關于golang如何實現(xiàn)proxy代理簡單方法的相關資料,Proxy是golang實現(xiàn)的高性能http,https,websocket,tcp,udp,socks5,ss代理服務器,文中通過代碼介紹的非常詳細,需要的朋友可以參考下
    2023-10-10

最新評論