golang API請(qǐng)求隊(duì)列的實(shí)現(xiàn)
概要
在調(diào)用第三方 API 的時(shí)候, 基本都有訪問(wèn)限速的限制條件. 第三方的 API 有多個(gè)的時(shí)候, 就不太好控制訪問(wèn)速度, 常常會(huì)導(dǎo)致 HTTP 429(Too Many Requests) 然后就會(huì)有一段時(shí)間的禁止訪問(wèn).
為了應(yīng)對(duì)這種限速的情況, 通過(guò)一個(gè)簡(jiǎn)單的請(qǐng)求隊(duì)列來(lái)控制訪問(wèn)的速度, 之后基本沒(méi)遇到過(guò) HTTP 429 了.
實(shí)現(xiàn)思路
首先, 每個(gè)請(qǐng)求包裝成一個(gè) RequestParam 的 struct, 其中包含請(qǐng)求的地址,類型,參數(shù)以及 response 的 channel.
發(fā)送請(qǐng)求的時(shí)候, 只要將 RequestParam 放入請(qǐng)求隊(duì)列中即可, 請(qǐng)求完成后, 將 response 放入對(duì)應(yīng)的 channel 中.
整個(gè)代碼實(shí)現(xiàn)很簡(jiǎn)單:
package util
import (
"fmt"
apiclient "gitee.com/wangyubin/gutils/api_client"
"gitee.com/wangyubin/gutils/logger"
)
// request 包含的內(nèi)容
type RequestParam struct {
Api string
Method string
JsonReq interface{}
Resp chan []byte
}
// 請(qǐng)求隊(duì)列, 本質(zhì)是一個(gè)channel
type RequestQueue struct {
Queue chan RequestParam
}
var queue *RequestQueue
// 獲取隊(duì)列
func GetQueue() *RequestQueue {
return queue
}
// 初始化隊(duì)列
func InitRequestQueue(size int) {
queue = &RequestQueue{
Queue: make(chan RequestParam, size),
}
}
// 將請(qǐng)求放入隊(duì)列
func (rq *RequestQueue) Enqueue(p RequestParam) {
rq.Queue <- p
}
// 請(qǐng)求隊(duì)列服務(wù), 一直等待接受和處理請(qǐng)求
func (rq *RequestQueue) Run() {
lg := logger.GetLogger()
for p := range rq.Queue {
var resp []byte
var err error
switch p.Method {
case "GET":
resp, err = apiclient.GetJson(p.Api, p.JsonReq)
case "POST":
resp, err = apiclient.PostJson(p.Api, p.JsonReq)
default:
err = fmt.Errorf("Wrong type of METHOD(%s)\n", p.Method)
}
if err != nil {
lg.Err(err).Msg("access api error: " + p.Api)
continue
}
if p.Resp != nil {
p.Resp <- resp
close(p.Resp)
}
}
lg.Info().Msg("request queue finished!")
}
這里的請(qǐng)求是用了我自己封裝的 apiclient, 可以根據(jù)實(shí)際情況替換.
在我的應(yīng)用場(chǎng)景里, 只要 api 順序訪問(wèn)就不會(huì)出現(xiàn) HTTP 429 了, 如果這樣覺(jué)得速度太快的的話, 可以嘗試在 Run() 函數(shù)中加入一些時(shí)間間隔.
func (rq *RequestQueue) Run() {
lg := logger.GetLogger()
for p := range rq.Queue {
time.Sleep(1 * time.Second)
// ... 省略的代碼 ...
}
lg.Info().Msg("request queue finished!")
}
使用方法
使用很簡(jiǎn)單, 首先啟動(dòng), 然后每個(gè)調(diào)用的地方將 RequestParam 放入隊(duì)列并等待 response 即可.
啟動(dòng)隊(duì)列服務(wù)
func main() {
// init request queue and start queue service
util.InitRequestQueue(100)
queue := util.GetQueue()
defer close(queue.Queue)
go queue.Run()
// 其他啟動(dòng)代碼
}
使用隊(duì)列服務(wù)
func Request(param1 string, param2 int) error {
api := "http://xxxx.com"
api = fmt.Sprintf("%s?period=%s&size=%d", api, param1, param2)
queue := util.GetQueue()
param := util.RequestParam{
Api: api,
Method: "GET",
Resp: make(chan []byte, 1),
}
queue.Enqueue(param)
var respData struct {
Status string `json:"status"`
Data []model.Data `json:"data"`
}
var err error
for resp := range param.Resp {
err = json.Unmarshal(resp, &respData)
if err != nil {
lg.Err(err).Msg("unmarshal json error")
return err
}
}
fmt.Println(respData)
return err
}到此這篇關(guān)于golang API請(qǐng)求隊(duì)列的實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)golang API請(qǐng)求隊(duì)列內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Go語(yǔ)言中slice作為參數(shù)傳遞時(shí)遇到的一些“坑”
這篇文章主要給大家介紹了關(guān)于Go語(yǔ)言中slice作為參數(shù)傳遞時(shí)遇到的一些“坑”,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧。2018-03-03
golang bad file descriptor問(wèn)題的解決方法
這篇文章主要給大家介紹了golang bad file descriptor問(wèn)題的解決方法,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-02-02
go語(yǔ)言實(shí)現(xiàn)LRU緩存的示例代碼
LRU是一種常見的緩存淘汰策略,用于管理緩存中的數(shù)據(jù),本文主要介紹了go語(yǔ)言實(shí)現(xiàn)LRU緩存的示例代碼,具有一定的參考價(jià)值,感興趣的可以了解一下2024-02-02
Go語(yǔ)言學(xué)習(xí)之條件語(yǔ)句使用詳解
這篇文章主要介紹了Go語(yǔ)言中條件語(yǔ)句的使用,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2022-04-04

