引言

在前一篇文章中我們提到，為了防止緩存穿透，我們可以在應(yīng)用里面的緩存層的上一層添加了singleflight。但是，我們也提到，即使使用了singleflight，我們一樣還是會(huì)存在問題：

使用singleflight本身并不會(huì)直接導(dǎo)致OOM的發(fā)生,但是需要考慮到極端情況下導(dǎo)致內(nèi)存使用增加,如果有大量唯一的請(qǐng)求快速連續(xù)到來，并且它們的處理時(shí)間相對(duì)較長(zhǎng)，則這些請(qǐng)求可能會(huì)在內(nèi)存中積累，從而增加內(nèi)存使用.

什么,OpenAI又“雪崩”了?

為了解決這種問題，今天在這里介紹一下GO語言中限流策略（Rating Limit）的使用。

1. 什么是速率限流

在 Go 語言中，Rate Limit（速率限制）是一種控制資源利用率的重要機(jī)制，尤其適用于控制對(duì)外部資源的訪問速率，例如 API 請(qǐng)求或數(shù)據(jù)庫操作。Go 標(biāo)準(zhǔn)庫中的golang.org/x/time/rate包提供了實(shí)現(xiàn)速率限制的功能。

核心概念

•  Limiter（限制器）: rate.Limiter 結(jié)構(gòu)體是實(shí)現(xiàn)速率限制的主要組件。它使用令牌桶算法來控制事件發(fā)生的頻率。

• 令牌桶算法: 這是一種通過固定速率向桶中添加令牌來控制資源訪問速率的算法。如果桶中有足夠的令牌，請(qǐng)求就可以立即處理；如果沒有，則請(qǐng)求需要等待或被拒絕。

2. 基本使用

首先看一個(gè)具體的例子：

import (
  "context"
  "fmt"
  "log"
  "time"
  "golang.org/x/time/rate"
)
func main() {
  // 創(chuàng)建一個(gè)新的限制器，每秒產(chǎn)生5個(gè)令牌，最大桶容量為5
  limiter := rate.NewLimiter(5, 5)
  // 模擬連續(xù)請(qǐng)求
  for i := 0; i < 10; i++ {
    i := i
    go func() {
      // 等待下一個(gè)令牌
      err := limiter.Wait(context.Background())
      if err != nil {
        log.Fatal(err)
      }
      // 令牌已獲取，執(zhí)行API請(qǐng)求
      fmt.Println("Sending API request", i, "at", time.Now().Format(time.RFC3339))
      // 這里可以添加執(zhí)行實(shí)際 API 請(qǐng)求的代碼
    }()
  }
  time.Sleep(10 * time.Second)
}

運(yùn)行結(jié)果如下：

我們可以看到，因?yàn)閞ate.Limit的限制，大約每1秒被限制發(fā)送5次請(qǐng)求。

細(xì)節(jié)說明

• 創(chuàng)建限制器: rate.NewLimiter(5, 5) 創(chuàng)建了一個(gè)每秒生成 5 個(gè)令牌，最大桶容量為 5 的限制器。

• 循環(huán)請(qǐng)求: 通過一個(gè)循環(huán)來模擬連續(xù)的 API 請(qǐng)求。

• 等待令牌: 使用 limiter.Wait(context.Background()) 在每次請(qǐng)求之前等待令牌。這個(gè)調(diào)用會(huì)阻塞，直到獲取到令牌為止。

• 執(zhí)行請(qǐng)求: 一旦獲取到令牌，就打印一條消息表示發(fā)送了一個(gè) API 請(qǐng)求。在實(shí)際應(yīng)用中，這里可以替換為實(shí)際的 API 調(diào)用代碼。

3. 動(dòng)態(tài)調(diào)整限速器速率

在 Go 語言中，rate.Limiter 提供了動(dòng)態(tài)調(diào)整速率的功能。通過這種方式i允許你在運(yùn)行時(shí)根據(jù)需要改變速率限制，這在很多實(shí)際應(yīng)用中非常有用，比如基于當(dāng)前服務(wù)器負(fù)載或外部服務(wù)的可用性來調(diào)整請(qǐng)求速率。

rate.Limiter 提供了 SetLimit 和 SetBurst 兩個(gè)方法來動(dòng)態(tài)調(diào)整限制器的速率和桶大小：

• SetLimit(rate.Limit): 這個(gè)方法用來設(shè)置每秒可以生成的令牌數(shù)。rate.Limit 是一個(gè)基于浮點(diǎn)數(shù)的類型，用來表示每秒允許的事件數(shù)。

• SetBurst(int): 這個(gè)方法用來設(shè)置限制器的桶大小。桶大小決定了在任何給定時(shí)間內(nèi)限制器可以允許的最大事件數(shù)。

package main
import (
  "context"
  "fmt"
  "time"
  "golang.org/x/time/rate"
)
func main() {
  // 初始速率為每秒2個(gè)請(qǐng)求
  limiter := rate.NewLimiter(2, 2)
  // 模擬動(dòng)態(tài)調(diào)整速率
  go func() {
    for {
      time.Sleep(5 * time.Second)
      // 每5秒動(dòng)態(tài)調(diào)整速率和桶大小
      newRate := rate.Limit(float64(time.Now().Second()) / 10)
      limiter.SetLimit(newRate)
      limiter.SetBurst(int(newRate))
      fmt.Println("Rate updated to:", newRate)
    }
  }()
  // 模擬請(qǐng)求
  for i := 0; ; i++ {
    err := limiter.Wait(context.Background())
    if err != nil {
      fmt.Println("Error:", err)
      continue
    }
    fmt.Println("Request", i, "at", time.Now().Format(time.RFC3339))
  }
}

通過動(dòng)態(tài)調(diào)整 rate.Limiter 的速率和桶大小，你可以靈活地控制應(yīng)用中的速率限制，使其更加適應(yīng)變化的環(huán)境和需求。上述例子中，每5s會(huì)更新速率，每次更新速率之后，請(qǐng)求數(shù)量可以實(shí)現(xiàn)動(dòng)態(tài)調(diào)整：

運(yùn)行結(jié)果：

4. 應(yīng)用場(chǎng)景

rate.Limiter 在 Go 語言中的應(yīng)用場(chǎng)景廣泛，主要用于控制資源的使用頻率，以防止過載、濫用或達(dá)到限制。以下是一些常見的應(yīng)用場(chǎng)景：

1. API 請(qǐng)求限制

當(dāng)與外部服務(wù)（如 REST API）交互時(shí)，通常會(huì)有每秒或每分鐘的請(qǐng)求限制。使用 rate.Limiter 可以確保你的應(yīng)用不會(huì)超過這些限制，從而避免觸發(fā)服務(wù)端的速率限制錯(cuò)誤或被暫時(shí)禁止訪問。

2. 數(shù)據(jù)庫訪問控制

在高并發(fā)環(huán)境下，過多的數(shù)據(jù)庫查詢可能會(huì)導(dǎo)致性能下降或服務(wù)不可用。通過限制數(shù)據(jù)庫操作的頻率，可以減輕數(shù)據(jù)庫的負(fù)載，提高應(yīng)用的穩(wěn)定性和響應(yīng)速度。

3. 限制用戶操作

在某些應(yīng)用中，可能需要限制用戶執(zhí)行特定操作的頻率，例如發(fā)送消息、提交表單或請(qǐng)求驗(yàn)證碼。這有助于防止濫用和自動(dòng)化攻擊，同時(shí)保持系統(tǒng)資源的合理使用。

總結(jié)

rate.Limiter 的使用場(chǎng)景體現(xiàn)了其靈活性和實(shí)用性。無論是保護(hù)外部服務(wù)不被過載、控制資源訪問、還是提高應(yīng)用的整體穩(wěn)定性，它都是一個(gè)非常有效的工具。在設(shè)計(jì)系統(tǒng)時(shí)，考慮到這些場(chǎng)景，合理地應(yīng)用速率限制，可以顯著提升系統(tǒng)的健壯性和用戶體驗(yàn)。

以上就是Go語言中的速率限流策略全面詳解的詳細(xì)內(nèi)容，更多關(guān)于Go語言速率限流的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！

最新評(píng)論