前言

grpc 因為是長連接的，所以負(fù)載均衡處理起來沒有 rest 接口那么容易。常見的 grpc 負(fù)載均衡方法分為兩類，一類是客戶端側(cè)實現(xiàn)負(fù)載邏輯，一類是代理側(cè)實現(xiàn)負(fù)載邏輯，對客戶端側(cè)是透明的。在容器化的網(wǎng)絡(luò)環(huán)境里， grpc-java 客戶端側(cè)的負(fù)載均衡有兩種常見的實現(xiàn)路徑。

1、基于 dns 實現(xiàn)，

2、基于外部的服務(wù)注冊中心實現(xiàn)(ZooKeeper/Etcd/Consul/Eureka)。

本文旨在，在容器化的網(wǎng)絡(luò)環(huán)境下，通過測驗尋找一種改造成本最小的實現(xiàn)負(fù)載均衡的途徑

現(xiàn)狀

在 k8s 的網(wǎng)絡(luò)環(huán)境下，一個 grpc 的服務(wù)，同一個 namespace 下，可以直接通過 service 訪問，不同的 namespace 可以通過 service.namespace 訪問。但是，經(jīng)驗證，這種直連的方式?jīng)]法做到負(fù)載均衡，也就意味著 server 端無論開啟了多少個 pod 實例，客戶端也只能連接一個pod 。所以，在客戶端和服務(wù)端數(shù)量不對等時，打到 server 側(cè)的流量會非常的不均衡，如果數(shù)量對等，情況稍微好些。本次測驗只測試了 java 鏈接 java 的 grpc 服務(wù)，生產(chǎn)環(huán)境的實際調(diào)用場景會更復(fù)雜，包含了 php 、go、java 三種 grpc 服務(wù)的相互調(diào)用

負(fù)載均衡的方案

一、客戶端 dns 模式

dns 的模式是 grpc-java 實現(xiàn)復(fù)雜均衡改造成本最小的。應(yīng)該也是最通用的，各個語言的 grpc  應(yīng)該都有支持。主要改動兩個地方，

1、修改 Service 的 spec.clusterIP 為 ”None“,如：

apiVersion: v1
kind: Service
metadata:
  namespace: tap-prod
  name: queuing-rpc
  labels:
    app: queuing-rpc
spec:
  clusterIP: None
  ports:
    - port: 8030
      targetPort: 8030
      name: grpc
  selector:
    app: queuing-rpc

改動后，可以通過 service 的名稱解析到 pod 的 ip 列表

2、配置的 grpc 鏈接協(xié)議頭加上 dns 協(xié)議，如：

grpc.client.store.address = dns:///store-rpc:8020

 二、客戶端注冊中心模式

客戶端注冊中心模式相比較 dns 模式，實現(xiàn)方式上相對復(fù)雜點，但是靈活度更高了，有了注冊中心后，服務(wù)治理相關(guān)的也就都可以做了。但是在多語言的場景下，這種方式的普及難度會更高，無論選擇哪個注冊中心實現(xiàn)，都必須要求其他語言也要對應(yīng)實現(xiàn)。這里只簡要闡述 grpc-java 的實現(xiàn)途徑

。grpc-java 客戶端提供了 NameResolver 、NameResolverProvider 、NameResolverRegistry 等實現(xiàn)服務(wù)注冊發(fā)現(xiàn)的擴展類。結(jié)合注冊中心 ZooKeeper/Etcd/Consul/Eureka ，很容易實現(xiàn)一個基于注冊中心的帶服務(wù)治理的 grpc 。

三、代理端走 ingress

nginx-ingress-controller 從 0.30.0 版本開始支持 grpc 的流量代理，經(jīng)測驗，在 nginx-ingress 代理模式下，grpc 的流量是負(fù)責(zé)均衡的。這種改動方式也比較簡單，服務(wù)方只需要新增一個 ingress 代理 grpc 流量即可，客戶端鏈接是無感的，不需要做任何改動。因為走了一層代理，性能上會比dns 模式差點

apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  namespace: tap-prod
  name: store-rpc
  annotations:
    kubernetes.io/ingress.class: nginx-intranet-grpc
    nginx.ingress.kubernetes.io/backend-protocol: "GRPC"
spec:
  rules:
    - host: store-rpc.xx.com
      http:
        paths:
          - backend:
              serviceName: store-rpc
              servicePort: 8020

四、代理端 service mesh

需要引入 istio 等服務(wù)網(wǎng)格架構(gòu)。這種模式，對于多語言微服務(wù)環(huán)境是非常友好的，可以屏蔽各種語言基礎(chǔ)服務(wù)治理的實現(xiàn)細(xì)節(jié)，應(yīng)該是最終目標(biāo)方案。

結(jié)語

短期而言，需要解決 grpc 負(fù)載均衡問題，最快速、最無感的方案是基于 ingress 的代理負(fù)載模式。改動小、性能好的方案應(yīng)該是客戶端基于 dns 的模式。最復(fù)雜、最靈活、可控度最高的應(yīng)該是基于客戶端注冊中心的實現(xiàn)方式。綜合起來看，service mesh 的方式才是最終的目標(biāo)，不僅解決服務(wù)負(fù)載問題，流量觀測、服務(wù)治理也統(tǒng)統(tǒng)解決了

參考：

• https://grpc.io/blog/grpc-load-balancing/
• https://kubernetes.github.io/ingress-nginx/examples/grpc/

以上就是grpc-java k8s下的負(fù)載均衡處理方法的詳細(xì)內(nèi)容，更多關(guān)于grpc-java k8s負(fù)載均衡的資料請關(guān)注腳本之家其它相關(guān)文章！

最新評論