IPVS下CoreDNS滾動更新解析失敗原理探究
IPVS 模式下,當(dāng) coredns 滾動更新期間,集群監(jiān)控日志出現(xiàn)大量的連接超時,由于日志異常的時間和 coredns 變更時間完全重疊,懷疑是 coredns 滾動更新造成,下面進(jìn)行問題復(fù)現(xiàn),并給出優(yōu)化方案。
實(shí)驗(yàn)
- 創(chuàng)建一個由 2 個 POD 作為后端的 coredns service
- 通過創(chuàng)建大量 DNS 查詢來訪問此服務(wù)
- 觸發(fā)滾動更新 coredns
順序查詢
while true;do time (dig +tries=1 -4 +short A <name> @<dns clusterIP> >> dig.log) >> dig.log 2>&1;done
可以看到在 順序執(zhí)行(非并發(fā)壓測)的情況下,已經(jīng)出現(xiàn)較多DNS解析超時的情況
并發(fā)查詢
dnsperf是一個開源的DNS壓力測試工具,用戶可以用它來對DNS服務(wù)器或者Local DNS做壓力測試。dnsperf目前的實(shí)現(xiàn)是單進(jìn)程模式,通過epoll非阻塞地處理網(wǎng)絡(luò)事件
$ echo "www.mervinwang.com A" > dnstest $ dnsperf -d dnstest -s <DNS的IP> -c100000 -Q100000 -l60
數(shù)據(jù)\解析超時時間 | 1000ms | 500ms |
---|---|---|
sent | 67423 | 40925 |
completed | 64358 | 34519 |
lost | 3065 (4.55%) | 6406 (15.65%) |
優(yōu)化
通過查閱 issue 得知,這里可能與ipvs_udp_timeout
有關(guān),默認(rèn)的設(shè)置的是300s
,coredns
滾動更新的時候 ipvs 中 udp 老鏈接會 300s 才刪除,如果在 300s
內(nèi)客戶端有端口重用的話就會出現(xiàn)這個問題,并且這個時間和日志發(fā)生的時間也很類似,持續(xù)了5分鐘。
優(yōu)化改動
kube-proxy
加了ipvs-udp-timeout=10s
spec: containers: - args: - --kubeconfig=/var/lib/kube-proxy/config - --hostname-override=$(NODE_NAME) - --v=2 - --proxy-mode=ipvs ... - --ipvs-udp-timeout=10s
等待5分鐘(關(guān)鍵?。。?/p>
coredns
configmap
中 health lameduck
配置改成20s
Corefile: |- .:53 { errors health { lameduck 20s } ready ... }
查看 coredns
日志,等待 reload
修改 coredns configmap 后,coredns 會自動 Reload,Relaod 過程中打印輸出的 lameduck 時間為 上次配置的時間
優(yōu)化后結(jié)果
數(shù)據(jù)類型\解析超時時間 | 1000ms | 500ms |
---|---|---|
sent | 85027 | 80502 |
completed | 84930 | 80423 |
lost | 97 (0.11%) | 79 (0.10%) |
可以看到,效果還是很明顯的~
最后附上 dnspref 工具的常用參數(shù):
Dnsperf 支持下面的這些命令行參數(shù): -s 用來指定DNS服務(wù)器的IP地址,默認(rèn)值是127.0.0.1 -p 用來指定DNS服務(wù)器的端口,默認(rèn)值是53 -d 用來指定DNS消息的內(nèi)容文件,該文件中包含要探測的域名和資源記錄類型,見下文 -t 用來指定每個請求的超時時間,默認(rèn)值是3000ms -Q 用來指定本次壓測的最大請求數(shù),默認(rèn)值是1000 -c 用來指定并發(fā)探測數(shù),默認(rèn)值是100. dnsperf會從-d指定的文件中隨機(jī)選取100個座位探測域名來發(fā)送DNS請求. -l 用來指定本次壓測的時間,默認(rèn)值是無窮大。 -e 本選項通過EDNS0,在OPT資源記錄中運(yùn)用edns-client-subnet來指定真實(shí)的client ip. -i 用來指定前后探測的時間間隔,因?yàn)閐nsperf是一個壓測工具,所以本選項目前還不支持。 -P 指定用哪個傳輸層協(xié)議發(fā)送DNS請求,udp或者tcp。默認(rèn)值是udp -f 指定用什么地址類型發(fā)送DNS請求,inet或者inet6。默認(rèn)值是inet -v 除了標(biāo)準(zhǔn)的輸出外,還輸出每個相應(yīng)碼的個數(shù)。 -h 打印幫助
以上就是IPVS下CoreDNS滾動更新解析失敗原理探究的詳細(xì)內(nèi)容,更多關(guān)于IPVS CoreDNS滾動更新解析失敗的資料請關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
詳解Rainbond內(nèi)置ServiceMesh微服務(wù)架構(gòu)
這篇文章主要為大家介紹了詳解Rainbond內(nèi)置ServiceMesh微服務(wù)架構(gòu),有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-04-04k8s如何使用NFS作為StorageClass提供動態(tài)存儲
本文主要介紹了k8s中的StorageClass,包括其定義、引入的原因、實(shí)現(xiàn)方式、定義方法以及回收策略對數(shù)據(jù)的影響等,首先,StorageClass是在K8s集群中創(chuàng)建用于動態(tài)PV的管理,可以鏈接至不同的后端存儲,對存儲的請求可以指向StorageClass2024-09-09RFO SIG之openEuler AWS AMI 制作詳解
這篇文章主要為大家介紹了RFO SIG之openEuler AWS AMI 制作詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-10-10K8S節(jié)點(diǎn)本地存儲被撐爆問題徹底解決方法
這篇文章主要為大家介紹了K8S節(jié)點(diǎn)本地存儲被撐爆問題徹底解決方法,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-11-11