解決方案之關(guān)于Nginx高可用方案
解決方案：Nginx高可用方案
關(guān)鍵詞
- KeepAlived（主服務(wù)器 和 備份服務(wù)器 故障時(shí) IP 瞬間無縫交接）
- VRRP協(xié)議（路由器組，提供虛擬IP，一個(gè)master和多個(gè)backup，組播消息，選舉backup當(dāng)master）
- Nginx+keepalived 雙機(jī)主主模式（倆公網(wǎng)虛擬IP，負(fù)載）；雙機(jī)主從模式（熱備服務(wù)器）
需求：
由于業(yè)務(wù)擴(kuò)展，網(wǎng)站的訪問量不斷加大，負(fù)載越來越高?，F(xiàn)需要在web前端放置nginx負(fù)載均衡。
在生產(chǎn)環(huán)境下，Nginx作為流量的入口，如果Nginx不能正常工作或服務(wù)器宕機(jī)，將導(dǎo)致整個(gè)微服務(wù)架構(gòu)的不可用。
所以結(jié)合keepalived對(duì)前端nginx實(shí)現(xiàn)HA高可用
一、Nginx & KeepAlived
Nginx 進(jìn)程基于Master+Slave(worker)多進(jìn)程模型，自身具有非常穩(wěn)定的子進(jìn)程管理功能。在Master進(jìn)程分配模式下，Master進(jìn)程永遠(yuǎn)不進(jìn)行業(yè)務(wù)處理，只是進(jìn)行任務(wù)分發(fā)，從而達(dá)到Master進(jìn)程的存活高可靠性，Slave(worker)進(jìn)程所有的業(yè)務(wù)信號(hào)都 由主進(jìn)程發(fā)出，Slave(worker)進(jìn)程所有的超時(shí)任務(wù)都會(huì)被Master中止，屬于非阻塞式任務(wù)模型。
KeepAlived是Linux下面實(shí)現(xiàn)VRRP備份路由的高可靠性運(yùn)行件?；贙eepAlived設(shè)計(jì)的服務(wù)模式能夠真正做到主服務(wù)器和備份服務(wù)器故障時(shí)IP瞬間無縫交接。二者結(jié)合，可以構(gòu)架出比較穩(wěn)定的軟件LB（Load Balance）方案。
KeepAlived的作用是檢測(cè)服務(wù)器的狀態(tài)，如果有一臺(tái)web服務(wù)器宕機(jī)，或工作出現(xiàn)故障，KeepAlived將檢測(cè)到，并將有故障的服務(wù)器從系統(tǒng)中剔除，同時(shí)使用其他服務(wù)器代替該服務(wù)器的工作，當(dāng)服務(wù)器工作正常后KeepAlived自動(dòng)將服務(wù)器加入到服務(wù)器群中，這些工作全部自動(dòng)完成，不需要人工干涉，需要人工做的只是修復(fù)故障的服務(wù)器。
KeepAlived是一個(gè)基于VRRP協(xié)議來實(shí)現(xiàn)的服務(wù)高可用方案，可以利用其來避免IP單點(diǎn)故障，類似的工具還有Heartbeat 、Corosync、Pacemaker。但是它一般不會(huì)單獨(dú)出現(xiàn)，而是與其它負(fù)載均衡技術(shù)（如LVS、Haproxy、Nginx）一起工作來達(dá)到集群的高可用。
二、VRRP協(xié)議
VRRP全稱 Virtual Router Redundancy Protocol，即”虛擬路由冗余協(xié)議“?？梢哉J(rèn)為它是實(shí)現(xiàn)路由器高可用的容錯(cuò)協(xié)議，即將N臺(tái)提供相同功能的路由器組成一個(gè)路由器組(Router Group)，這個(gè)組里面有一個(gè)master和多個(gè)backup，但在外界看來就像一臺(tái)一樣，構(gòu)成虛擬路由器，擁有一個(gè)虛擬IP（VIP - Virtual IP，也就是路由器所在局域網(wǎng)內(nèi)其他機(jī)器的默認(rèn)路由），占有這個(gè)IP的master實(shí)際負(fù)責(zé)ARP相應(yīng)和轉(zhuǎn)發(fā)IP數(shù)據(jù)包，組中的其它路由器作為備份的角色處于待命狀態(tài)。master會(huì)發(fā)組播消息，當(dāng)backup在超時(shí)時(shí)間內(nèi)收不到vrrp包時(shí)就認(rèn)為master宕掉了，這時(shí)就需要根據(jù)VRRP的優(yōu)先級(jí)來選舉一個(gè)backup當(dāng)master，保證路由器的高可用。
在VRRP協(xié)議實(shí)現(xiàn)里，虛擬路由器使用 00-00-5E-00-01-XX 作為虛擬MAC地址，XX就是唯一的 VRID （Virtual Router IDentifier），這個(gè)地址同一時(shí)間只有一個(gè)物理路由器占用。在虛擬路由器里面的物理路由器組里面通過多播IP地址 224.0.0.18 來定時(shí)發(fā)送通告消息。每個(gè)Router都有一個(gè) 1-255之間的優(yōu)先級(jí)別，級(jí)別最高的（highest priority）將成為主控（master）路由器。通過降低master的優(yōu)先權(quán)可以讓處于backup狀態(tài)的路由器搶占（pro-empt）主路由器的狀態(tài)，兩個(gè)backup優(yōu)先級(jí)相同的IP地址較大者為master，接管虛擬IP。
三、雙機(jī)高可用解決方案
（1）Nginx+keepalived 雙機(jī)主從模式：
即前端使用兩臺(tái)服務(wù)器，一臺(tái)主服務(wù)器和一臺(tái)熱備服務(wù)器，正常情況下，主服務(wù)器綁定一個(gè)公網(wǎng)虛擬IP，提供負(fù)載均衡服務(wù)，熱備服務(wù)器處于空閑狀態(tài)；當(dāng)主服務(wù)器發(fā)生故障時(shí)，熱備服務(wù)器接管主服務(wù)器的公網(wǎng)虛擬IP，提供負(fù)載均衡服務(wù)；但是熱備服務(wù)器在主機(jī)器不出現(xiàn)故障的時(shí)候，永遠(yuǎn)處于浪費(fèi)狀態(tài)，對(duì)于服務(wù)器不多的網(wǎng)站，該方案不經(jīng)濟(jì)實(shí)惠。
（2）Nginx+keepalived 雙機(jī)主主模式：
即前端使用兩臺(tái)負(fù)載均衡服務(wù)器，互為主備，且都處于活動(dòng)狀態(tài)，同時(shí)各自綁定一個(gè)公網(wǎng)虛擬IP，提供負(fù)載均衡服務(wù)；當(dāng)其中一臺(tái)發(fā)生故障時(shí)，另一臺(tái)接管發(fā)生故障服務(wù)器的公網(wǎng)虛擬IP（這時(shí)由非故障機(jī)器一臺(tái)負(fù)擔(dān)所有的請(qǐng)求）。
四、基礎(chǔ)環(huán)境準(zhǔn)備
兩臺(tái)服務(wù)器：192.168.253.11（主）， 192.168.253.12（從），每臺(tái)服務(wù)器上分別安裝Nginx 、KeepAlived。
cd /usr/local/openresty/nginx/sbin ./nginx -s stop
（1）安裝Nginx：
# 添加源 sudo rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm # 安裝Nginx sudo yum install -y nginx # 啟動(dòng)Nginx sudo systemctl start nginx.service # 瀏覽器訪問測(cè)試 http://192.168.253.11/ http://192.168.253.12/
（2）安裝KeepAlived可使用yum直接安裝：
yum -y install keepalived
查看KeepAlived配置文件：
cat /etc/keepalived/keepalived.conf
接下來就是要對(duì)該配置文件進(jìn)行修改，該配置文件在/etc/keepalived/路徑下。在默認(rèn)的keepalive.conf里面還有 virtual_server，real_server 這樣的配置，它是為lvs準(zhǔn)備的。
（3）關(guān)閉防火墻（默認(rèn)關(guān)閉）
（4）關(guān)閉selinux（如果不關(guān)閉，KeepAlived不生效）
臨時(shí)關(guān)閉：
[root@localhost ~]# getenforce Enforcing [root@localhost ~]# setenforce 0 [root@localhost ~]# getenforce Permissive
永久關(guān)閉：
[root@localhost ~]# vim /etc/sysconfig/selinux SELINUX=enforcing 改為 SELINUX=disabled 重啟服務(wù)reboot
五、配置主備模式
（1）修改主配置文件：
! Configuration File for keepalived
global_defs {
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id master11
}
# nginx掛了，實(shí)現(xiàn)vip自動(dòng)漂移，使用如下腳本控制
vrrp_script check_nginx {
script "/usr/local/nginx/nginx_check.sh"
interval 2 # 機(jī)器宕機(jī)執(zhí)行的次數(shù)
weight 2
}
# 當(dāng)前實(shí)例配置
vrrp_instance VI_1 {
state MASTER # 主機(jī)
interface ens33 # 綁定的網(wǎng)卡
virtual_router_id 51 # 組id，需要一致
priority 100 # 優(yōu)先級(jí)
advert_int 1 # 檢查間隔，默認(rèn)1s
# 調(diào)用nginx掛了之后進(jìn)行vip漂移的函數(shù)
track_script {
check_nginx
}
authentication {
auth_type PASS
auth_pass 1111
}
# 配置vip
virtual_ipaddress {
192.168.253.50/24 dev ens33 label ens33:1 scope global
}
}
在默認(rèn)的keepalive.conf里面還有 virtual_server，real_server 這樣的配置，我們這用不到，它是為lvs準(zhǔn)備的。
（2）/usr/local/nginx/nginx_check.sh ：
# 在/usr/local下新建目錄nginx mkdir nginx # 新建文件 touch nginx_check.sh
# 編輯內(nèi)容
#!/bin/bash
A=`ps -C nginx --no-header |wc -l` #查看nginx進(jìn)程是否存在
#if [ $A -eq 0 ];then
/usr/sbin/nginx #重啟nginx
if [ $A -eq 0 ];then #nginx重啟失敗
exit 1 # keepalived執(zhí)行腳本，返回非0結(jié)果，ip漂移
else
exit 0 # keepalived執(zhí)行腳本，返回0，ip不漂移
fi
#else
# exit 0
#fi
需要給nginx_check.sh文件加可執(zhí)行權(quán)限：
chmod +x nginx_check.sh
（3）修改從機(jī)keepalived.conf配置文件：
! Configuration File for keepalived
global_defs {
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id backup
}
vrrp_script check_nginx {
script "/usr/local/nginx/nginx_check.sh"
interval 2
weight 2
}
vrrp_instance VI_1 {
state BACKUP # 從機(jī)
interface ens33
virtual_router_id 51 # 組id，需要一致
priority 99 # 優(yōu)先級(jí)
advert_int 1
# 調(diào)用nginx掛了之后進(jìn)行vip漂移的函數(shù)
track_script {
check_nginx
}
authentication {
auth_type PASS
auth_pass 1111
}
# 配置vip
virtual_ipaddress {
192.168.253.50/24 dev eth0 label ens33:1 scope global
}
}
同樣需要在/usr/local/nginx/路徑下放上nginx_check.sh腳本文件。
（4） 啟動(dòng)nginx、keepalived
#主從啟動(dòng) sudo systemctl restart nginx.service #主從啟動(dòng) systemctl start keepalived
（5）訪問測(cè)試
為效果明顯，可以修改Nginx首頁，將主從IP地址放置首頁以便區(qū)分。
訪問http://192.168.253.50 or curl 192.168.253.50
查看Nginx日志：
cd /var/log/nginx/ cat access.log
查看主服務(wù)器keepalived日志:
Keepalived默認(rèn)所有的日志都是寫入到/var/log/message ，
你可以使用命令 tail -f /var/log/messages|grep Keepalived 進(jìn)行查看
查看ens33網(wǎng)卡信息：
ip addr | grep ens33
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN group default qlen 1000 inet 192.168.253.11/24 brd 192.168.253.255 scope global noprefixroute ens33 inet 192.168.253.50/24 scope global secondary ens33:1 #VIP已漂移到主機(jī)，vip只能選擇一個(gè)機(jī)器進(jìn)行綁定
（6）停掉主服務(wù)器的nginx
通過瀏覽器訪問：http://192.168.253.50
查看主機(jī)KeepAlived日志：
tail -f /var/log/messages|grep Keepalived
# 強(qiáng)制停止 pkill -9 nginx # 查看Nginx進(jìn)程 ps -ef | grep nginx # 等待幾秒后再次查看Nginx進(jìn)程，發(fā)現(xiàn)已經(jīng)通過檢查腳本自啟 # 因?yàn)樵趉eepalived腳本中，進(jìn)行了nginx重啟操作
則會(huì)執(zhí)行腳本nginx_check.sh進(jìn)行nginx啟動(dòng)！
- 如果master上的nginx服務(wù)掛了，則nginx會(huì)自動(dòng)重啟，重啟失敗后會(huì)自動(dòng)關(guān)閉keepalived，這樣vip資源也會(huì)轉(zhuǎn)移到slave上。
- master和slave兩邊都開啟nginx服務(wù)，無論master還是slave，當(dāng)其中的一個(gè)keepalived服務(wù)停止后，vip都會(huì)漂移到keepalived服務(wù)還在的節(jié)點(diǎn)上；
- 如果要想使nginx服務(wù)掛了，vip也漂移到另一個(gè)節(jié)點(diǎn)，則必須用腳本或者在配置文件里面用shell命令來控制。（nginx服務(wù)宕停后會(huì)自動(dòng)啟動(dòng)，啟動(dòng)失敗后會(huì)會(huì)致使vip資源漂移到另一臺(tái)機(jī)器上）
總結(jié)
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
Nginx一個(gè)IP如何配置多個(gè)站點(diǎn)的方法教程
這篇文章主要給大家介紹了關(guān)于Nginx一個(gè)IP如何配置多個(gè)站點(diǎn)的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧。2017-09-09
ubuntu系統(tǒng)中nginx啟動(dòng)腳本
這篇文章主要介紹了ubuntu系統(tǒng)中nginx啟動(dòng)腳本，可以實(shí)現(xiàn)nginx的自啟動(dòng),需要的朋友可以參考下2014-02-02
詳解Nginx的超時(shí)keeplive_timeout配置步驟
Nginx 處理的每個(gè)請(qǐng)求均有相應(yīng)的超時(shí)設(shè)置，本文主要介紹了Nginx的超時(shí)keeplive_timeout配置步驟，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2022-05-05
本文主要介紹了nginx?流控使用的項(xiàng)目實(shí)踐2024-03-03
這篇文章主要介紹了淺談Nginx七層反向代理和負(fù)載均衡，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2018-07-07
最近在研究nginx，整好遇到一個(gè)需求就是希望服務(wù)器與客戶端之間傳輸內(nèi)容是加密的，防止中間監(jiān)聽泄露信息，但是去證書服務(wù)商那邊申請(qǐng)證書又不合算，因?yàn)樵L問服務(wù)器的都是內(nèi)部人士，所以自己給自己頒發(fā)證書，忽略掉瀏覽器的不信任警報(bào)即可。下面是頒發(fā)證書和配置過程。2016-08-08
這篇文章主要介紹了Nginx?代理解決跨域問題分析,通過用網(wǎng)站8080訪問Nginx代理后的接口地址，報(bào)錯(cuò)分為多種情況，每種情況給大家詳細(xì)分析，感興趣的朋友一起看看吧2022-01-01
詳解Prometheus 抓取 nginx 訪問日志的指標(biāo)
通過結(jié)合NGINX Exporter, Fluentd, Prometheus和Grafana, 可有效監(jiān)控并可視化NGINX中的4xx和5xx狀態(tài)碼日志,首先使用Fluentd收集和解析NGINX日志,再通過Prometheus抓取Fluentd暴露的指標(biāo),本文介紹Prometheus抓取nginx訪問日志的指標(biāo),感興趣的朋友一起看看吧2024-10-10
當(dāng)一個(gè)項(xiàng)目部署測(cè)試服后會(huì)遇到跨域、SSL證書、訪問靜態(tài)文件等各種問題,這個(gè)時(shí)候我們就可以采用Nginx來解決上述的問題,下面這篇文章主要給大家介紹了關(guān)于Nginx本地配置SSL訪問的相關(guān)資料,需要的朋友可以參考下2022-05-05
Nginx配置反向代理服務(wù)器實(shí)現(xiàn)在https網(wǎng)站中請(qǐng)求http資源
?Nginx反向代理?是一種將客戶端請(qǐng)求轉(zhuǎn)發(fā)到后端服務(wù)器的技術(shù),主要用于負(fù)載均衡、提高安全性和提升性能,本文給大家介紹了Nginx配置反向代理服務(wù)器實(shí)現(xiàn)在https網(wǎng)站中請(qǐng)求http資源,需要的朋友可以參考下2025-03-03