Go?對(duì)多個(gè)網(wǎng)絡(luò)命令空間中的端口進(jìn)行監(jiān)聽的解決方案
需求為 對(duì)多個(gè)命名空間內(nèi)的端口進(jìn)行監(jiān)聽和代理。
剛開始對(duì) netns 的理解不夠深刻，以為必須存在一個(gè)新的線程然后調(diào)用 setns(2) 切換過去，如果有新的 netns 那么需要再新建一個(gè)線程切換過去使用，這樣帶來的問題就是線程數(shù)量和 netns 的數(shù)量為 1:1，資源占用會(huì)比較多。
當(dāng)時(shí)沒有想到別的好辦法，Go 里面也不能創(chuàng)建線程，只能想到使用一個(gè) C 進(jìn)程來實(shí)現(xiàn)這個(gè)功能，這里就多了 通信交互/協(xié)議解析處理/資源占用 的成本。
新方案
后面在 stackoverflow 中閑逛看到一篇文章 https://stackoverflow.com/questions/28846059/can-i-open-sockets-in-multiple-network-namespaces-from-my-python-code，看到了關(guān)鍵點(diǎn) 在套接字創(chuàng)建之前，切換到對(duì)應(yīng)的命名空間，并不需要?jiǎng)?chuàng)建線程。
這樣就可以一個(gè)線程下對(duì)多個(gè)命名空間的端口進(jìn)行監(jiān)聽，可以減少線程本身資源的占用以及額外的管理成本。
原來 C 實(shí)現(xiàn)的改造比較好實(shí)現(xiàn)，刪除創(chuàng)建線程那一步差不多就可以了。如何更進(jìn)一步使用 Go 實(shí)現(xiàn)，減少維護(hù)的成本？
使用 Go 進(jìn)行實(shí)現(xiàn)
保證套接字創(chuàng)建時(shí)在某個(gè)命名空間內(nèi)，就可以完成套接字后續(xù)的操作，不必使用一個(gè)線程來持有一個(gè)命名空間，建立一個(gè)典型的 TCP 服務(wù)如下
- 獲取并且保存默認(rèn)網(wǎng)絡(luò)命名空間
- 加鎖防止多個(gè)網(wǎng)絡(luò)命名空間同時(shí)切換，將 goroutine 綁定到當(dāng)前的線程上防止被調(diào)度
- 獲取需要操作的網(wǎng)絡(luò)命名空間，并且切換過去 setns
- 監(jiān)聽套接字 net.Listen
- 切換到默認(rèn)的命名空間（還原）
- 釋放當(dāng)前線程的綁定，釋放鎖
實(shí)現(xiàn)對(duì) TCP 的監(jiān)聽
使用 github.com/vishvananda/netns 這個(gè)庫對(duì)網(wǎng)絡(luò)命名空間進(jìn)行操作，一個(gè)同時(shí)在 默認(rèn)/ns1/ns2 三個(gè)命名空間內(nèi)監(jiān)聽 8000 端口的例子如下：
命名空間創(chuàng)建命令
ip netns add ns1 ip netns add ns2
package main
import (
"net"
"runtime"
"sync"
"github.com/pkg/errors"
"github.com/sirupsen/logrus"
"github.com/vishvananda/netns"
)
var (
mainNetnsHandler netns.NsHandle
mainNetnsMutex sync.Mutex
)
func mustInitMainNetnsHandler() {
nh, err := netns.Get()
if err != nil {
panic(err)
}
mainNetnsHandler = nh
}
func ListenInsideNetns(ns, network, address string) (net.Listener, error) {
if ns == "" {
return net.Listen(network, address)
}
var set bool
mainNetnsMutex.Lock()
runtime.LockOSThread()
defer func() {
if set {
err := netns.Set(mainNetnsHandler)
if err != nil {
logrus.WithError(err).Warn("Fail to back to main netns")
}
}
runtime.UnlockOSThread()
mainNetnsMutex.Unlock()
}()
nh, err := netns.GetFromName(ns)
if err != nil {
return nil, errors.Wrap(err, "netns.GetFromName")
}
defer nh.Close()
err = netns.Set(nh)
if err != nil {
return nil, errors.Wrap(err, "netns.Set")
}
set = true
return net.Listen(network, address)
}
func serve(listener net.Listener) error {
for {
conn, err := listener.Accept()
if err != nil {
return err
}
logrus.WithFields(logrus.Fields{"local": conn.LocalAddr(), "remote": conn.RemoteAddr()}).Info("New conn")
conn.Write([]byte("hello"))
conn.Close()
}
}
func main() {
mustInitMainNetnsHandler()
wg := sync.WaitGroup{}
wg.Add(3)
go func() {
defer wg.Done()
lis, err := ListenInsideNetns("", "tcp", ":8000")
if err != nil {
panic(err)
}
logrus.WithFields(logrus.Fields{"netns": "", "addr": lis.Addr()}).Info("Listen on")
serve(lis)
}()
go func() {
defer wg.Done()
lis, err := ListenInsideNetns("ns1", "tcp", ":8000")
if err != nil {
panic(err)
}
logrus.WithFields(logrus.Fields{"netns": "ns1", "addr": lis.Addr()}).Info("Listen on")
serve(lis)
}()
go func() {
defer wg.Done()
lis, err := ListenInsideNetns("ns2", "tcp", ":8000")
if err != nil {
panic(err)
}
logrus.WithFields(logrus.Fields{"netns": "ns2", "addr": lis.Addr()}).Info("Listen on")
serve(lis)
}()
wg.Wait()
}UDP/SCTP 的監(jiān)聽
UDP 監(jiān)聽和 TCP 無異，Go 會(huì)做好調(diào)度不會(huì)產(chǎn)生新線程。
SCTP 如果是使用庫 github.com/ishidawataru/sctp，那么需要注意這個(gè)庫就是簡單的 fd 封裝，并且其 Accept() 是一個(gè)阻塞的動(dòng)作，在 for 循環(huán)內(nèi)調(diào)用 Accept() 會(huì)導(dǎo)致 Go runtime 會(huì)創(chuàng)建一個(gè)新線程來防止阻塞。
解決方案如下，直接操作 fd
- 設(shè)置非阻塞
- 手動(dòng)使用 epoll 封裝（必須是 epoll，select/poll 在幾百個(gè)fd的情況下性能很差，無連接的情況負(fù)載都很高）。
獲取 fd 的方式如下
type sctpWrapListener struct {
*sctp.SCTPListener
fd int
}
func listenSCTP(network, address string) (*sctpWrapListener, error) {
addr, err := parseSCTPAddr(address)
if err != nil {
return nil, err
}
sctpFd := 0
sc := sctp.SocketConfig{
InitMsg: sctp.InitMsg{NumOstreams: sctp.SCTP_MAX_STREAM},
Control: func(network, address string, c syscall.RawConn) error {
return c.Control(func(fd uintptr) {
err := syscall.SetNonblock(int(fd), true)
if err != nil {
syscall.Close(int(fd))
return
}
sctpFd = int(fd)
})
},
}
l, err := sc.Listen(network, addr)
if err != nil {
return nil, err
}
return &sctpWrapListener{SCTPListener: l, fd: sctpFd}, nil
}實(shí)際應(yīng)用的數(shù)據(jù)參考
打開的文件如下
root@localhost:~# lsof -p $(pidof fake_name) | tail fake_name 1599860 root 1203u sock 0,8 0t0 20374830 protocol: UDP fake_name 1599860 root 1204u pack 20375161 0t0 ALL type=SOCK_RAW fake_name 1599860 root 1205u sock 0,8 0t0 20374831 protocol: SCTPv6 fake_name 1599860 root 1206u sock 0,8 0t0 20375156 protocol: TCP fake_name 1599860 root 1207u sock 0,8 0t0 20375157 protocol: UDP fake_name 1599860 root 1208u sock 0,8 0t0 20375158 protocol: SCTPv6 fake_name 1599860 root 1209u pack 20381769 0t0 ALL type=SOCK_RAW fake_name 1599860 root 1210u sock 0,8 0t0 20381764 protocol: TCP fake_name 1599860 root 1211u sock 0,8 0t0 20381765 protocol: UDP fake_name 1599860 root 1212u sock 0,8 0t0 20381766 protocol: SCTPv6 root@localhost:~# lsof -p $(pidof fake_name) | wc -l 1216
業(yè)務(wù)機(jī)器CPU為 4 核心，創(chuàng)建的線程如下
root@localhost:~# ll /proc/$(pidof fake_name)/task total 0 dr-xr-xr-x 13 root root 0 Jul 3 14:51 ./ dr-xr-xr-x 9 root root 0 Jul 3 14:51 ../ dr-xr-xr-x 7 root root 0 Jul 3 14:51 1599860/ dr-xr-xr-x 7 root root 0 Jul 3 14:57 1599861/ dr-xr-xr-x 7 root root 0 Jul 3 14:57 1599862/ dr-xr-xr-x 7 root root 0 Jul 3 14:57 1599863/ dr-xr-xr-x 7 root root 0 Jul 3 14:57 1599864/ dr-xr-xr-x 7 root root 0 Jul 3 14:57 1599865/ dr-xr-xr-x 7 root root 0 Jul 3 14:57 1600021/ dr-xr-xr-x 7 root root 0 Jul 3 14:57 1600033/ dr-xr-xr-x 7 root root 0 Jul 3 14:57 1600056/ dr-xr-xr-x 7 root root 0 Jul 3 14:57 1600058/ dr-xr-xr-x 7 root root 0 Jul 3 14:57 1602524/ root@localhost:~# ll /proc/$(pidof fake_name)/task | wc -l 14
到此這篇關(guān)于Go 如何對(duì)多個(gè)網(wǎng)絡(luò)命令空間中的端口進(jìn)行監(jiān)聽的文章就介紹到這了,更多相關(guān)Go 端口監(jiān)聽內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
go語言實(shí)現(xiàn)銀行卡號(hào)Luhn校驗(yàn)
這篇文章主要為大家介紹了go語言Luhn校驗(yàn)測試銀行卡號(hào)碼的示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-05-05
輕松入門：使用Golang開發(fā)跨平臺(tái)GUI應(yīng)用
Golang是一種強(qiáng)大的編程語言,它的并發(fā)性和高性能使其成為開發(fā)GUI桌面應(yīng)用的理想選擇,Golang提供了豐富的標(biāo)準(zhǔn)庫和第三方庫,可以輕松地創(chuàng)建跨平臺(tái)的GUI應(yīng)用程序,通過使用Golang的GUI庫,開發(fā)人員可以快速構(gòu)建具有豐富用戶界面和交互功能的應(yīng)用程序,需要的朋友可以參考下2023-10-10
這篇文章主要介紹了Golang 中 Slice的分析與使用(含源碼),本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2023-03-03
這篇文章主要為大家介紹了Go?為什么不支持可重入鎖原理解析,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-08-08
go web 預(yù)防跨站腳本的實(shí)現(xiàn)方式
這篇文章主要介紹了go web 預(yù)防跨站腳本的實(shí)現(xiàn)方式,文中給大家介紹XSS最佳的防護(hù)應(yīng)該注意哪些問題，本文通過實(shí)例代碼講解的非常詳細(xì)，需要的朋友可以參考下2021-06-06
這篇文章主要介紹了golang 自旋鎖的實(shí)現(xiàn)，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2018-11-11
Golang利用channel協(xié)調(diào)協(xié)程的方法詳解
go?當(dāng)中的并發(fā)編程是通過goroutine來實(shí)現(xiàn)的，利用channel（管道）可以在協(xié)程之間傳遞數(shù)據(jù)，所以本文就來講講Golang如何利用channel協(xié)調(diào)協(xié)程吧2023-05-05
Golang unsafe.Sizeof函數(shù)代碼示例使用解析
這篇文章主要為大家介紹了Golang unsafe.Sizeof函數(shù)代碼示例使用解析,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-12-12
本文主要介紹了Golang請求fasthttp實(shí)踐，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2021-11-11
本文主要介紹了go中sync.RWMutex的源碼解讀,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2024-04-04