快捷導(dǎo)航

k8s?service?nodePort無法訪問的問題解決

更新時(shí)間：2023年01月19日 10:44:36 作者：小丶事情

今天有一個(gè)項(xiàng)目做service nodeport轉(zhuǎn)發(fā),結(jié)果設(shè)置完之后發(fā)現(xiàn)外網(wǎng)訪問失敗,下面這篇文章主要給大家介紹了關(guān)于k8s?service?nodePort無法訪問的問題解決,文中通過圖文介紹的非常詳細(xì),需要的朋友可以參考下

0. 前言

本文主要針對的是：不在同一內(nèi)網(wǎng)且機(jī)器的公網(wǎng)IP并未顯示的綁定在機(jī)器網(wǎng)卡上（也就是云主機(jī)，比如阿里云、騰訊云等等）出現(xiàn)的pod之間無法訪問的問題，如果不是的話就可以撤退了，節(jié)約時(shí)間~~

1、背景

我有閑置的騰訊云兩臺(tái)服務(wù)器，最近想搭建個(gè)k8s集群玩玩，于是按照b站某教程搭建，出現(xiàn)了網(wǎng)絡(luò)問題，具體如下。

2、配置如下

公網(wǎng)ip已打碼，畢竟還在使用，見諒
master節(jié)點(diǎn)叫：k8s-master-q，worker節(jié)點(diǎn)叫：k8s-master

3、集群信息如下

應(yīng)用部署在了 worker節(jié)點(diǎn)的pod上

4、問題

master節(jié)點(diǎn)：curl 10.244.1.3(podIP) 、curl 10.96.6.212都沒法連通，且：在瀏覽器輸入：http://master公網(wǎng)IP:30002/也無法訪問
worker：恰恰相反

翻遍整個(gè)網(wǎng)絡(luò)，沒找到解決方案，或者說自己沒深刻理解k8s，無法根據(jù)關(guān)鍵信息搜索，也不知道問題發(fā)生的原因，導(dǎo)致一直沒找解決方案，困擾好幾天。經(jīng)過不懈努力，偶然間發(fā)現(xiàn)了問題的關(guān)鍵，便是 master節(jié)點(diǎn)與worker節(jié)點(diǎn)不在同一內(nèi)網(wǎng)內(nèi)。
什么意思？其實(shí)也就是對k8s集群內(nèi)網(wǎng)絡(luò)轉(zhuǎn)發(fā)模型的不了解，即下圖：

這是k8s的flannel網(wǎng)絡(luò)模型，具體原理與工作流程參考大佬博客，我也是看到這篇博客才得到解決

Kuberbetes Pod間無法通信問題處理

大概原因就是，數(shù)據(jù)包從節(jié)點(diǎn)A發(fā)給節(jié)點(diǎn)B的，但使用的目的IP卻是節(jié)點(diǎn)B的內(nèi)網(wǎng)IP，而節(jié)點(diǎn)A和B并不在同一內(nèi)網(wǎng)，并無法直接訪問，這就導(dǎo)致了數(shù)據(jù)包中途丟包而無法連接。

可以看下自己的節(jié)點(diǎn)是否是使用的內(nèi)網(wǎng)IP

[root@k8s-master-q ~]# kubectl describe nodes k8s-master

可以發(fā)現(xiàn)，在flannel網(wǎng)絡(luò)模型中，使用的都是各自節(jié)點(diǎn)的內(nèi)網(wǎng)IP, 又不在同一網(wǎng)段，確實(shí)無法訪問。

5、解決方案

目前看來，我只找到了上面博主寫的方案，其他方案未知，即將 IP改為公網(wǎng)IP。

# master節(jié)點(diǎn)操作
# 修改為使用公網(wǎng)ip
# kubectl annotate node k8s-master-q flannel.alpha.coreos.com/public-ip-overwrite=各節(jié)點(diǎn)公網(wǎng)ip --overwrite
[root@k8s-master-q ~]# kubectl annotate node k8s-master flannel.alpha.coreos.com/public-ip-overwrite=1.12.xxx.xxxx --overwrite
node/k8s-master annotated

[root@k8s-master-q ~]# kubectl annotate node k8s-master-q flannel.alpha.coreos.com/public-ip-overwrite=43.139.xxx.xxxx --overwrite
node/k8s-master-q annotated

# 還需要配置內(nèi)網(wǎng)ip轉(zhuǎn)發(fā)到外網(wǎng)ip(內(nèi)網(wǎng)IP是指服務(wù)器硬件本身的內(nèi)網(wǎng)ip，不是flannel分配的)
# 因?yàn)閒lannel重啟后會(huì)重新構(gòu)建iptables規(guī)則，有可能把這幾條就移除掉了，重啟應(yīng)用后如果不能訪問，需要重新執(zhí)行
# iptables -t nat -A OUTPUT -d 私網(wǎng)ip  -j DNAT --to-destination 公網(wǎng)ip
[root@k8s-master-q ~]# iptables -t nat -A OUTPUT -d 10.0.12.13  -j DNAT --to-destination 43.139.xxx.xxx

# worker 節(jié)點(diǎn)操作， 同樣改變iptables規(guī)則
[root@k8s-master ~]# iptables -t nat -A OUTPUT -d 10.0.12.2  -j DNAT --to-destination 1.12.xxx.xxx

# 之后重啟相關(guān)應(yīng)用，master節(jié)點(diǎn)和worker節(jié)點(diǎn)都需要操作
# 重啟應(yīng)用
systemctl stop kubelet
systemctl stop docker
systemctl stop docker
iptables --flush
iptables -tnat --flush
systemctl start kubelet
systemctl start docker

更改之后再次查詢：