在我們?nèi)粘＞S護(hù)中，經(jīng)常有爬蟲(chóng)進(jìn)行爬取網(wǎng)頁(yè)，少則1秒鐘請(qǐng)求數(shù)十次，多則達(dá)百次，嚴(yán)重消耗了服務(wù)器帶寬，且影響正常使用者，好在nginx可以配合lua可以完成類(lèi)似的需求，本次我們將使用go來(lái)完成本需求。

需求背景

在我們?nèi)粘＞S護(hù)中，可能需要這樣一種工具，來(lái)對(duì)某些路由，對(duì)特定IP或者用戶ID,在特定時(shí)間內(nèi)，限制最大訪問(wèn)次數(shù)，這樣有效的避免服務(wù)器帶寬資源的浪費(fèi)的同時(shí)也能接入更多用戶請(qǐng)求，本次使用go來(lái)做一個(gè)類(lèi)似的。

web demo搭建

我們先來(lái)使用SampleHttp編寫(xiě)一個(gè)最簡(jiǎn)單的web服務(wù)器，定義路由queryAll，收到后，假設(shè)將返回客戶端1w字節(jié)的數(shù)據(jù)信息。

在啟動(dòng)web服務(wù)器后，我們使用curl進(jìn)行測(cè)試

命令：

curl 127.0.0.1:8083/queryAll

限制訪問(wèn)次數(shù)編寫(xiě)

在上述整體需求的情況下，我們需要編寫(xiě)在規(guī)定時(shí)間限制訪問(wèn)次數(shù)的需求，這里我們?yōu)榱朔奖?，使?code>ip來(lái)作為限制條件，其核心功能分類(lèi)大致分為：

從未訪問(wèn)過(guò)web服務(wù)器
訪問(wèn)過(guò)web服務(wù)器，在規(guī)定時(shí)間內(nèi)沒(méi)有超出限制
訪問(wèn)過(guò)web服務(wù)器，在在規(guī)定時(shí)間內(nèi)超出了限制
訪問(wèn)過(guò)web服務(wù)器，時(shí)間間隔超過(guò)了規(guī)定時(shí)間

如上分類(lèi)，除了第三種需要限流外，其他則視為正常訪問(wèn)即可。

核心存儲(chǔ)，我們可以選擇go map，其中key為ip，value為結(jié)構(gòu)體，該結(jié)構(gòu)體包含訪問(wèn)次數(shù)和創(chuàng)建間戳。

其定義如下

我們來(lái)根據(jù)如上定義的核心功能來(lái)編寫(xiě)程序

從未訪問(wèn)過(guò)服務(wù)器

我們根據(jù)map中是否存在這個(gè)key來(lái)判斷，如

_, ok := visitHashMap[ip]; if !ok {
    // 如果沒(méi)有該ip的訪問(wèn)次數(shù),則新增記錄
}

訪問(wèn)過(guò)服務(wù)器，在規(guī)定時(shí)間超過(guò)了限制

if time.Now().Unix()-visit.createUnixTime >= interval*60 {
    // 在規(guī)定時(shí)間超過(guò)了限制，需要重新計(jì)算閾值
}

超過(guò)最大允許訪問(wèn)數(shù)

if visitHashMap[ip].number >= maxNum {
    // 超過(guò)允許最大訪問(wèn)次數(shù)
}

整理為其核心函數(shù)如下

功能測(cè)試

我們?cè)诙x路由地方，將來(lái)訪者IP傳入，就可以根據(jù)其返回的bool值來(lái)判斷是否需要限制訪問(wèn)了。

其main函數(shù)定義如下:

func main() {
	SampleHttp.Route("get","/queryAll", func(info *SampleHttp.HttpInfo) {
		ip := strings.Split(info.RemoteIP,":")[0]
		if ! limits(ip) {
			info.Write([]byte(fmt.Sprintf("%s 已經(jīng)被限制訪問(wèn)，在%d分鐘內(nèi)，訪問(wèn)達(dá)到%d次",time.Now(),interval,visitHashMap[ip].number)))
			return
		}
		info.Write([]byte(fmt.Sprintf("%s 收到queryAll請(qǐng)求,開(kāi)始查詢,返回1W字節(jié)數(shù)據(jù)信息...,統(tǒng)計(jì)信息: 在%d分鐘內(nèi)，訪問(wèn)達(dá)到%d次",time.Now(),interval,visitHashMap[ip].number)))
	})
	visitHashMap = make(map[string]visitInfo,0)
	SampleHttp.StartServer("0.0.0.0:8083")
}

我們將開(kāi)啟服務(wù)器來(lái)測(cè)試一下

通過(guò)上述執(zhí)行結(jié)果圖，可以看到，當(dāng)1分鐘內(nèi)訪問(wèn)次數(shù)超過(guò)10次后，就被限制訪問(wèn)了，而從第一次訪問(wèn)時(shí)間到目前訪問(wèn)時(shí)間間隔達(dá)到1分鐘以上后，限制就被解除了，可見(jiàn)功能已經(jīng)完成了。