go實現(xiàn)限流功能示例

更新時間：2022年08月16日 14:11:14 作者：pdudo

這篇文章主要為大家介紹了go實現(xiàn)限流功能示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪

引言

在我們?nèi)粘＞S護中，經(jīng)常有爬蟲進行爬取網(wǎng)頁，少則1秒鐘請求數(shù)十次，多則達百次，嚴(yán)重消耗了服務(wù)器帶寬，且影響正常使用者，好在nginx可以配合lua可以完成類似的需求，本次我們將使用go來完成本需求。

需求背景

在我們?nèi)粘＞S護中，可能需要這樣一種工具，來對某些路由，對特定IP或者用戶ID,在特定時間內(nèi)，限制最大訪問次數(shù)，這樣有效的避免服務(wù)器帶寬資源的浪費的同時也能接入更多用戶請求，本次使用go來做一個類似的。

web demo搭建

我們先來使用SampleHttp編寫一個最簡單的web服務(wù)器，定義路由queryAll，收到后，假設(shè)將返回客戶端1w字節(jié)的數(shù)據(jù)信息。

在啟動web服務(wù)器后，我們使用curl進行測試

命令：

curl 127.0.0.1:8083/queryAll

限制訪問次數(shù)編寫

在上述整體需求的情況下，我們需要編寫在規(guī)定時間限制訪問次數(shù)的需求，這里我們?yōu)榱朔奖?，使?code>ip來作為限制條件，其核心功能分類大致分為：

從未訪問過web服務(wù)器
訪問過web服務(wù)器，在規(guī)定時間內(nèi)沒有超出限制
訪問過web服務(wù)器，在在規(guī)定時間內(nèi)超出了限制
訪問過web服務(wù)器，時間間隔超過了規(guī)定時間

如上分類，除了第三種需要限流外，其他則視為正常訪問即可。

核心存儲，我們可以選擇go map，其中key為ip，value為結(jié)構(gòu)體，該結(jié)構(gòu)體包含訪問次數(shù)和創(chuàng)建間戳。

其定義如下

我們來根據(jù)如上定義的核心功能來編寫程序

從未訪問過服務(wù)器

我們根據(jù)map中是否存在這個key來判斷，如

_, ok := visitHashMap[ip]; if !ok {
    // 如果沒有該ip的訪問次數(shù),則新增記錄
}

訪問過服務(wù)器，在規(guī)定時間超過了限制

if time.Now().Unix()-visit.createUnixTime >= interval*60 {
    // 在規(guī)定時間超過了限制，需要重新計算閾值
}

超過最大允許訪問數(shù)

if visitHashMap[ip].number >= maxNum {
    // 超過允許最大訪問次數(shù)
}

整理為其核心函數(shù)如下

功能測試

我們在定義路由地方，將來訪者IP傳入，就可以根據(jù)其返回的bool值來判斷是否需要限制訪問了。

其main函數(shù)定義如下:

func main() {
	SampleHttp.Route("get","/queryAll", func(info *SampleHttp.HttpInfo) {
		ip := strings.Split(info.RemoteIP,":")[0]
		if ! limits(ip) {
			info.Write([]byte(fmt.Sprintf("%s 已經(jīng)被限制訪問，在%d分鐘內(nèi)，訪問達到%d次",time.Now(),interval,visitHashMap[ip].number)))
			return
		}
		info.Write([]byte(fmt.Sprintf("%s 收到queryAll請求,開始查詢,返回1W字節(jié)數(shù)據(jù)信息...,統(tǒng)計信息: 在%d分鐘內(nèi)，訪問達到%d次",time.Now(),interval,visitHashMap[ip].number)))
	})
	visitHashMap = make(map[string]visitInfo,0)
	SampleHttp.StartServer("0.0.0.0:8083")
}

我們將開啟服務(wù)器來測試一下