IPVS下CoreDNS滾動更新解析失敗原理探究
IPVS 模式下,當 coredns 滾動更新期間,集群監(jiān)控日志出現(xiàn)大量的連接超時,由于日志異常的時間和 coredns 變更時間完全重疊,懷疑是 coredns 滾動更新造成,下面進行問題復(fù)現(xiàn),并給出優(yōu)化方案。

實驗
- 創(chuàng)建一個由 2 個 POD 作為后端的 coredns service
- 通過創(chuàng)建大量 DNS 查詢來訪問此服務(wù)
- 觸發(fā)滾動更新 coredns
順序查詢
while true;do time (dig +tries=1 -4 +short A <name> @<dns clusterIP> >> dig.log) >> dig.log 2>&1;done

可以看到在 順序執(zhí)行(非并發(fā)壓測)的情況下,已經(jīng)出現(xiàn)較多DNS解析超時的情況
并發(fā)查詢
dnsperf是一個開源的DNS壓力測試工具,用戶可以用它來對DNS服務(wù)器或者Local DNS做壓力測試。dnsperf目前的實現(xiàn)是單進程模式,通過epoll非阻塞地處理網(wǎng)絡(luò)事件
$ echo "www.mervinwang.com A" > dnstest $ dnsperf -d dnstest -s <DNS的IP> -c100000 -Q100000 -l60
| 數(shù)據(jù)\解析超時時間 | 1000ms | 500ms |
|---|---|---|
| sent | 67423 | 40925 |
| completed | 64358 | 34519 |
| lost | 3065 (4.55%) | 6406 (15.65%) |
優(yōu)化

通過查閱 issue 得知,這里可能與ipvs_udp_timeout有關(guān),默認的設(shè)置的是300s,coredns 滾動更新的時候 ipvs 中 udp 老鏈接會 300s 才刪除,如果在 300s 內(nèi)客戶端有端口重用的話就會出現(xiàn)這個問題,并且這個時間和日志發(fā)生的時間也很類似,持續(xù)了5分鐘。
優(yōu)化改動
kube-proxy 加了ipvs-udp-timeout=10s
spec:
containers:
- args:
- --kubeconfig=/var/lib/kube-proxy/config
- --hostname-override=$(NODE_NAME)
- --v=2
- --proxy-mode=ipvs
...
- --ipvs-udp-timeout=10s
等待5分鐘(關(guān)鍵!?。?/p>
coredns configmap 中 health lameduck配置改成20s
Corefile: |-
.:53 {
errors
health {
lameduck 20s
}
ready
...
}
查看 coredns日志,等待 reload

修改 coredns configmap 后,coredns 會自動 Reload,Relaod 過程中打印輸出的 lameduck 時間為 上次配置的時間
優(yōu)化后結(jié)果
| 數(shù)據(jù)類型\解析超時時間 | 1000ms | 500ms |
|---|---|---|
| sent | 85027 | 80502 |
| completed | 84930 | 80423 |
| lost | 97 (0.11%) | 79 (0.10%) |
可以看到,效果還是很明顯的~
最后附上 dnspref 工具的常用參數(shù):
Dnsperf 支持下面的這些命令行參數(shù): -s 用來指定DNS服務(wù)器的IP地址,默認值是127.0.0.1 -p 用來指定DNS服務(wù)器的端口,默認值是53 -d 用來指定DNS消息的內(nèi)容文件,該文件中包含要探測的域名和資源記錄類型,見下文 -t 用來指定每個請求的超時時間,默認值是3000ms -Q 用來指定本次壓測的最大請求數(shù),默認值是1000 -c 用來指定并發(fā)探測數(shù),默認值是100. dnsperf會從-d指定的文件中隨機選取100個座位探測域名來發(fā)送DNS請求. -l 用來指定本次壓測的時間,默認值是無窮大。 -e 本選項通過EDNS0,在OPT資源記錄中運用edns-client-subnet來指定真實的client ip. -i 用來指定前后探測的時間間隔,因為dnsperf是一個壓測工具,所以本選項目前還不支持。 -P 指定用哪個傳輸層協(xié)議發(fā)送DNS請求,udp或者tcp。默認值是udp -f 指定用什么地址類型發(fā)送DNS請求,inet或者inet6。默認值是inet -v 除了標準的輸出外,還輸出每個相應(yīng)碼的個數(shù)。 -h 打印幫助
以上就是IPVS下CoreDNS滾動更新解析失敗原理探究的詳細內(nèi)容,更多關(guān)于IPVS CoreDNS滾動更新解析失敗的資料請關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
詳解Rainbond內(nèi)置ServiceMesh微服務(wù)架構(gòu)
這篇文章主要為大家介紹了詳解Rainbond內(nèi)置ServiceMesh微服務(wù)架構(gòu),有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2022-04-04
k8s如何使用NFS作為StorageClass提供動態(tài)存儲
本文主要介紹了k8s中的StorageClass,包括其定義、引入的原因、實現(xiàn)方式、定義方法以及回收策略對數(shù)據(jù)的影響等,首先,StorageClass是在K8s集群中創(chuàng)建用于動態(tài)PV的管理,可以鏈接至不同的后端存儲,對存儲的請求可以指向StorageClass2024-09-09
RFO SIG之openEuler AWS AMI 制作詳解
這篇文章主要為大家介紹了RFO SIG之openEuler AWS AMI 制作詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2022-10-10

