本文介紹了docker swarm 集群故障與異常詳解，分享給大家，具體如下：

在上次遭遇 docker swarm 集群故障后，我們將 docker 由 17.10.0-ce 升級為最新穩(wěn)定版 docker 17.12.0-ce 。

前天晚上22:00之后集群中的2個節(jié)點突然出現CPU波動，在CPU波動之后，在凌晨夜深人靜、訪問量極低的時候，整個集群出現了故障，訪問集群上的所有站點都出現了502，過了一段時間后自動恢復正常。

ECS實例：swarm1-node5，CPU百分比于00:52發(fā)生告警，值為96.14%，持續(xù)時間0分鐘

。。。

昨天早上發(fā)現訪問部分節(jié)點中的容器應用響應有些慢，于是我們通過阿里云控制臺強制重啟這些節(jié)點后恢復正常。

今天上午我們在集群上更新一個應用時（部署新的鏡像），出現了奇怪的問題。應用是在 swarm1-node1 這個 manager 節(jié)點上部署的，部署后容器運行在其他節(jié)點上，但奇怪的是只有在 swarm1-node1 這個節(jié)點上可以正常訪問容器中的站點，在其他節(jié)點上訪問都是 503 ，用 docker stack rm 命令刪除應用并重新部署問題依舊。

當時 docker-flow-proxy（路由應用） 的 2 個容器都是部署在 swarm1-node1 節(jié)點上的，從問題現象看，在 swarm1-node1 節(jié)點上 docker-flow-proxy 容器與外界的通信正常，docker-flow-proxy 容器與其他節(jié)點上的容器的 overlay 網絡（網絡A）通信正常；在其他節(jié)點上，外界的請求通過 overlay 網絡（網絡B）被正常轉發(fā)到 docker-flow-proxy 容器，卻不能被正常路由到其他節(jié)點上對應的容器（也是通過 overlay 網絡A）。對這個奇怪現象實在想不通，但是問題擺在那，想不通也要解決。想不通背后的原因，那我們換個角度，其他節(jié)點都異常，就 swarm1-node1 正常，根據少數服從多數的粗暴原則，那就認為swarm1-node1 不正常吧。于是通過下面的命令將swarm1-node1 節(jié)點下線：

docker node update --availability drain swarm1-node1

swarm1-node1 下線后，其他節(jié)點都恢復了正常，果然是 swarm1-node1 不正常。

swarm1-node1 下線的背后是 docker-flow-proxy 容器換到其他節(jié)點上運行。

問題就這樣被猜測解決了。

以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。

最新評論