1. 需求

在生產(chǎn)環(huán)境中，我們經(jīng)常需要將流量拷貝到預(yù)上線環(huán)境或測(cè)試環(huán)境，以便進(jìn)行各種驗(yàn)證和測(cè)試。這樣做的好處包括：

• 功能驗(yàn)證與性能測(cè)試：通過(guò)真實(shí)流量測(cè)試新功能和服務(wù)的性能。
• 數(shù)據(jù)真實(shí)性：無(wú)需造數(shù)據(jù)，使用真實(shí)請(qǐng)求進(jìn)行驗(yàn)證，不影響線上正常訪問(wèn)。
• 灰度發(fā)布的補(bǔ)充：鏡像流量不會(huì)影響真實(shí)流量，提供額外的測(cè)試手段。
• 問(wèn)題排查：幫助定位線上問(wèn)題。
• 服務(wù)重構(gòu)測(cè)試：對(duì)重構(gòu)后的服務(wù)進(jìn)行全面測(cè)試。

為了實(shí)現(xiàn)這一需求，Nginx提供了ngx_http_mirror_module模塊。

2. 安裝Nginx

首先，設(shè)置yum倉(cāng)庫(kù)。為此，創(chuàng)建一個(gè)文件/etc/yum.repos.d/nginx.repo，并將以下內(nèi)容寫(xiě)入文件：

[nginx-stable]
name=nginx stable repo
baseurl=http://nginx.org/packages/centos/$releasever/$basearch/
gpgcheck=1
enabled=1
gpgkey=https://nginx.org/keys/nginx_signing.key
module_hotfixes=true

然后，使用yum安裝nginx：

sudo yum install nginx

默認(rèn)情況下，nginx的配置文件是nginx.conf，一般位于/etc/nginx目錄下。啟動(dòng)nginx非常簡(jiǎn)單，只需在命令行中輸入：

sudo nginx

一旦master進(jìn)程接收到重新加載配置的信號(hào)，它將檢查新配置文件的語(yǔ)法是否正確，并嘗試應(yīng)用新配置。如果成功，master進(jìn)程將啟動(dòng)新的worker進(jìn)程，并發(fā)送消息給舊的worker進(jìn)程，要求它們關(guān)閉。否則，將回滾更改并繼續(xù)使用舊配置。

停止nginx可以使用以下命令：

sudo nginx -s stop

nginx的master進(jìn)程的進(jìn)程ID默認(rèn)情況下存放在nginx.pid文件中，該文件一般位于/var/run目錄下。

3. ngx_http_mirror_module

ngx_http_mirror_module模塊（1.13.4版本引入）通過(guò)創(chuàng)建后臺(tái)鏡像子請(qǐng)求來(lái)實(shí)現(xiàn)原始請(qǐng)求的鏡像。鏡像子請(qǐng)求的響應(yīng)會(huì)被忽略。

這里，“mirror”可以理解為像一個(gè)鏡像站點(diǎn)一樣，收集所有請(qǐng)求。有了這個(gè)鏡像，后續(xù)可以用它重現(xiàn)所有請(qǐng)求，從而實(shí)現(xiàn)將線上流量復(fù)制到其他地方。

官網(wǎng)給出的示例非常簡(jiǎn)單：

location / {
    mirror /mirror;
}

如果請(qǐng)求體被鏡像，那么在創(chuàng)建子請(qǐng)求之前會(huì)先讀取請(qǐng)求體。

注意：通過(guò)yum安裝的Nginx可能不包含ngx_http_mirror_module模塊。因此，真正使用時(shí)最好采用自定義安裝，即從源碼構(gòu)建。

步驟：

1. 下載源碼：

   • 訪問(wèn)Nginx下載頁(yè)面獲取源碼。

2. 編譯安裝：

   • 解壓源碼并進(jìn)入目錄，執(zhí)行配置、編譯和安裝命令。

以下是一個(gè)示例配置：

upstream api.abc.com {
    server 127.0.0.1:8080;
}

upstream tapi.abc.com {
    server 127.0.0.1:8081;
}

server {
    listen 80;

    # 源站點(diǎn)
    location /api {
        proxy_pass http://api.abc.com;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

        # 流量復(fù)制
        mirror /newapi;
        mirror /mirror2;
        mirror /mirror3;

        # 復(fù)制請(qǐng)求體
        mirror_request_body on;
    }

    # 鏡像站點(diǎn)
    location /tapi {
        proxy_pass http://tapi.abc.com$request_uri;
        proxy_pass_request_body on;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
}

運(yùn)行效果：

假設(shè)我們有一個(gè)服務(wù)在127.0.0.1:8080上運(yùn)行，并且我們?cè)?code>127.0.0.1:8081上有一個(gè)鏡像服務(wù)。當(dāng)我們?cè)L問(wèn)http://your_nginx_server/api/some_endpoint時(shí)，請(qǐng)求將被鏡像到/newapi、/mirror2和/mirror3指定的路徑（這些路徑可以是實(shí)際的服務(wù)路徑，也可以是日志收集路徑等）。

示例運(yùn)行結(jié)果（假設(shè)通過(guò)日志查看）：

• 原始服務(wù)日志：

  127.0.0.1 - - [12/Oct/2023:12:34:56 +0000] "GET /api/some_endpoint HTTP/1.1" 200 123
  

• 鏡像服務(wù)日志（假設(shè)鏡像到另一個(gè)服務(wù)并記錄）：

  127.0.0.1 - - [12/Oct/2023:12:34:56 +0000] "GET /tapi/some_endpoint HTTP/1.1" 200 123 (mirrored from /api)
  

4. 補(bǔ)充命令

• 查看進(jìn)程運(yùn)行時(shí)間：

  ps -eo pid,user,lstart,etime,cmd | grep nginx
  

• 查看已經(jīng)建立連接的數(shù)量：

  netstat -an | grep ESTABLISHED | wc -l
  

• 查看80端口的連接數(shù)：

  netstat -an | grep ":80" | wc -l
  

通過(guò)以上步驟和配置，您可以輕松實(shí)現(xiàn)Nginx的流量拷貝功能，為測(cè)試和驗(yàn)證提供強(qiáng)大支持。

到此這篇關(guān)于Nginx實(shí)現(xiàn)流量拷貝的示例代碼的文章就介紹到這了,更多相關(guān)Nginx 流量拷貝內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論