golang 實現(xiàn)時間滑動窗口的示例代碼
一 概念
固定窗口就像是滑動窗口的一個特例,固定窗口是大小固定且不能隨著時間而變化的。
滑動時間窗口就是把一段時間片分為多個樣本窗口,可以通過更細(xì)粒度對數(shù)據(jù)進(jìn)行統(tǒng)計。然后計算對應(yīng)的時間落在那個窗口上,來對數(shù)據(jù)統(tǒng)計;滑動時間窗口,隨著時間流失,最開始的樣本窗口將會失效,同時會生成新的樣本窗口。
例如 我們將1s劃分為4個樣本窗口,每個樣本窗口對應(yīng)250ms。
二 go-zero中的滑動窗口實現(xiàn)
1.Bucket 樣本窗口
Bucket用于記錄每個樣本窗口的值
// Bucket defines the bucket that holds sum and num of additions. type Bucket struct { Sum float64 //樣本窗口的值 Count int64 //樣本窗口被add的次數(shù) } func (b *Bucket) add(v float64) { b.Sum += v b.Count++ } //重置樣本窗口,樣本窗口過期時 func (b *Bucket) reset() { b.Sum = 0 b.Count = 0 }
2. window 滑動窗口
type window struct { buckets []*Bucket //樣本窗口 size int //樣本窗口個數(shù) } func newWindow(size int) *window { buckets := make([]*Bucket, size) for i := 0; i < size; i++ { buckets[i] = new(Bucket) } return &window{ buckets: buckets, size: size, } } func (w *window) add(offset int, v float64) { w.buckets[offset%w.size].add(v) } func (w *window) reduce(start, count int, fn func(b *Bucket)) { for i := 0; i < count; i++ { fn(w.buckets[(start+i)%w.size]) } } func (w *window) resetBucket(offset int) { w.buckets[offset%w.size].reset() }
3. RollingWindow窗口
bucket和window的實現(xiàn)都很簡單,邏輯很好理解。
RollingWindow相對復(fù)雜一些。
當(dāng)add值時需要如下操作:
- 計算已經(jīng)過期的bucket(樣本窗口),將已經(jīng)過期的bucket重置。
- 計算offset,當(dāng)前add操作應(yīng)當(dāng)記錄到哪個bucket中。
type ( // RollingWindowOption let callers customize the RollingWindow. RollingWindowOption func(rollingWindow *RollingWindow) // RollingWindow defines a rolling window to calculate the events in buckets with time interval. RollingWindow struct { lock sync.RWMutex size int win *window interval time.Duration offset int ignoreCurrent bool lastTime time.Duration // start time of the last bucket } ) // NewRollingWindow returns a RollingWindow that with size buckets and time interval, // use opts to customize the RollingWindow. func NewRollingWindow(size int, interval time.Duration, opts ...RollingWindowOption) *RollingWindow { if size < 1 { panic("size must be greater than 0") } w := &RollingWindow{ size: size, win: newWindow(size), interval: interval, lastTime: timex.Now(), } for _, opt := range opts { opt(w) } return w } // Add adds value to current bucket. func (rw *RollingWindow) Add(v float64) { rw.lock.Lock() defer rw.lock.Unlock() rw.updateOffset() rw.win.add(rw.offset, v) } // Reduce runs fn on all buckets, ignore current bucket if ignoreCurrent was set. func (rw *RollingWindow) Reduce(fn func(b *Bucket)) { rw.lock.RLock() defer rw.lock.RUnlock() var diff int //獲取跨度,并計算還有幾個bucket還在窗口期內(nèi) span := rw.span() // ignore current bucket, because of partial data if span == 0 && rw.ignoreCurrent { diff = rw.size - 1 } else { diff = rw.size - span } if diff > 0 { offset := (rw.offset + span + 1) % rw.size rw.win.reduce(offset, diff, fn) } } //距離上次add操作跨度, //例如 lastTime = 1s, 當(dāng)前時間1777ms。樣本窗口時間250ms,那么跨度為3個樣本窗口 func (rw *RollingWindow) span() int { offset := int(timex.Since(rw.lastTime) / rw.interval) if 0 <= offset && offset < rw.size { return offset } return rw.size } //g func (rw *RollingWindow) updateOffset() { span := rw.span() if span <= 0 { return } offset := rw.offset // reset expired buckets ,重置已經(jīng)超時的bucket for i := 0; i < span; i++ { rw.win.resetBucket((offset + i + 1) % rw.size) } rw.offset = (offset + span) % rw.size now := timex.Now() //和樣本窗口時間對齊 rw.lastTime = now - (now-rw.lastTime)%rw.interval }
三 使用
//1.新建一個4樣本窗口,每個樣本窗口250ms rollingWindow:= NewRollingWindow(4, time.Millisecond*250,IgnoreCurrentBucket()) //2.add rollingWindow.Add(1) rollingWindow.Add(2) time.Sleep(time.Millisecond*250) rollingWindow.Add(3) rollingWindow.Add(4) //3.獲取滑動窗口的值 var Sum float64 var total int64 rollingWindow.Reduce(func(b *collection.Bucket) { Sum += int64(b.Sum) total += b.Count })
到此這篇關(guān)于golang 實現(xiàn)時間滑動窗口的文章就介紹到這了,更多相關(guān)golang 時間滑動窗口內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
詳解Go語言如何實現(xiàn)一個最簡化的協(xié)程池
這篇文章主要為大家詳細(xì)介紹了Go語言如何實現(xiàn)一個最簡化的協(xié)程池,文中的示例代碼講解詳細(xì),具有一定的參考價值,有需要的小伙伴可以了解一下2023-10-10關(guān)于Go語言中特有的設(shè)計模式與實現(xiàn)方式講解
雖然Go語言沒有像其他語言那樣明確的設(shè)計模式,但在實踐中,開發(fā)者們?nèi)匀话l(fā)現(xiàn)了一些在Go語言中特別適用的設(shè)計模式和實現(xiàn)方式,本文就來和大家一一進(jìn)行講解2023-05-05更高效的GoLevelDB:shardingdb實現(xiàn)分片和并發(fā)讀寫操作
這篇文章主要介紹了更高效的GoLevelDB:shardingdb實現(xiàn)分片和并發(fā)讀寫操作的相關(guān)資料,需要的朋友可以參考下2023-09-09詳解Go語言如何實現(xiàn)類似Python中的with上下文管理器
熟悉?Python?的同學(xué)應(yīng)該知道?Python?中的上下文管理器非常好用,那么在?Go?中是否也能實現(xiàn)上下文管理器呢,下面小編就來和大家仔細(xì)講講吧2023-07-07