Golang TCP粘包拆包問(wèn)題的解決方法
什么是粘包問(wèn)題
最近在使用Golang編寫(xiě)Socket層，發(fā)現(xiàn)有時(shí)候接收端會(huì)一次讀到多個(gè)數(shù)據(jù)包的問(wèn)題。于是通過(guò)查閱資料，發(fā)現(xiàn)這個(gè)就是傳說(shuō)中的TCP粘包問(wèn)題。下面通過(guò)編寫(xiě)代碼來(lái)重現(xiàn)這個(gè)問(wèn)題：
服務(wù)端代碼 server/main.go
func main() {
l, err := net.Listen("tcp", ":4044")
if err != nil {
panic(err)
}
fmt.Println("listen to 4044")
for {
// 監(jiān)聽(tīng)到新的連接，創(chuàng)建新的 goroutine 交給 handleConn函數(shù) 處理
conn, err := l.Accept()
if err != nil {
fmt.Println("conn err:", err)
} else {
go handleConn(conn)
}
}
}
func handleConn(conn net.Conn) {
defer conn.Close()
defer fmt.Println("關(guān)閉")
fmt.Println("新連接：", conn.RemoteAddr())
result := bytes.NewBuffer(nil)
var buf [1024]byte
for {
n, err := conn.Read(buf[0:])
result.Write(buf[0:n])
if err != nil {
if err == io.EOF {
continue
} else {
fmt.Println("read err:", err)
break
}
} else {
fmt.Println("recv:", result.String())
}
result.Reset()
}
}
客戶端代碼 client/main.go
func main() {
data := []byte("[這里才是一個(gè)完整的數(shù)據(jù)包]")
conn, err := net.DialTimeout("tcp", "localhost:4044", time.Second*30)
if err != nil {
fmt.Printf("connect failed, err : %v\n", err.Error())
return
}
for i := 0; i <1000; i++ {
_, err = conn.Write(data)
if err != nil {
fmt.Printf("write failed , err : %v\n", err)
break
}
}
}
運(yùn)行結(jié)果
listen to 4044
新連接： [::1]:53079
recv: [這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)�
recv: �][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包]
recv: [這里才是一個(gè)完整的數(shù)據(jù)包]
recv: [這里才是一個(gè)完整的數(shù)據(jù)包]
recv: [這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包][這里才是一個(gè)完整的數(shù)據(jù)包]
recv: [這里才是一個(gè)完整的數(shù)據(jù)包]
...省略其它的...
從服務(wù)端的控制臺(tái)輸出可以看出，存在三種類型的輸出：
- 一種是正常的一個(gè)數(shù)據(jù)包輸出。
- 一種是多個(gè)數(shù)據(jù)包“粘”在了一起，我們定義這種讀到的包為粘包。
- 一種是一個(gè)數(shù)據(jù)包被“拆”開(kāi)，形成一個(gè)破碎的包，我們定義這種包為半包。
為什么會(huì)出現(xiàn)半包和粘包？
- 客戶端一段時(shí)間內(nèi)發(fā)送包的速度太多，服務(wù)端沒(méi)有全部處理完。于是數(shù)據(jù)就會(huì)積壓起來(lái)，產(chǎn)生粘包。
- 定義的讀的buffer不夠大，而數(shù)據(jù)包太大或者由于粘包產(chǎn)生，服務(wù)端不能一次全部讀完，產(chǎn)生半包。
什么時(shí)候需要考慮處理半包和粘包？
TCP連接是長(zhǎng)連接，即一次連接多次發(fā)送數(shù)據(jù)。
每次發(fā)送的數(shù)據(jù)是結(jié)構(gòu)的，比如 JSON格式的數(shù)據(jù) 或者 數(shù)據(jù)包的協(xié)議是由我們自己定義的（包頭部包含實(shí)際數(shù)據(jù)長(zhǎng)度、協(xié)議魔數(shù)等）。
解決思路
- 定長(zhǎng)分隔(每個(gè)數(shù)據(jù)包最大為該長(zhǎng)度，不足時(shí)使用特殊字符填充) ，但是數(shù)據(jù)不足時(shí)會(huì)浪費(fèi)傳輸資源
- 使用特定字符來(lái)分割數(shù)據(jù)包，但是若數(shù)據(jù)中含有分割字符則會(huì)出現(xiàn)Bug
- 在數(shù)據(jù)包中添加長(zhǎng)度字段，彌補(bǔ)了以上兩種思路的不足，推薦使用
拆包演示
通過(guò)上述分析，我們最好通過(guò)第三種思路來(lái)解決拆包粘包問(wèn)題。
Golang的bufio庫(kù)中有為我們提供了Scanner，來(lái)解決這類分割數(shù)據(jù)的問(wèn)題。
type Scanner
Scanner provides a convenient interface for reading data such as a file of newline-delimited lines of text. Successive calls to the Scan method will step through the 'tokens' of a file, skipping the bytes between the tokens. The specification of a token is defined by a split function of type SplitFunc; the default split function breaks the input into lines with line termination stripped. Split functions are defined in this package for scanning a file into lines, bytes, UTF-8-encoded runes, and space-delimited words. The client may instead provide a custom split function.
簡(jiǎn)單來(lái)講即是：
Scanner為 讀取數(shù)據(jù) 提供了方便的 接口。連續(xù)調(diào)用Scan方法會(huì)逐個(gè)得到文件的“tokens”，跳過(guò) tokens 之間的字節(jié)。token 的規(guī)范由 SplitFunc 類型的函數(shù)定義。我們可以改為提供自定義拆分功能。
接下來(lái)看看 SplitFunc 類型的函數(shù)是什么樣子的：
type SplitFunc func(data []byte, atEOF bool) (advance int, token []byte, err error)
Golang官網(wǎng)文檔上提供的使用例子🌰：
func main() {
// An artificial input source.
const input = "1234 5678 1234567901234567890"
scanner := bufio.NewScanner(strings.NewReader(input))
// Create a custom split function by wrapping the existing ScanWords function.
split := func(data []byte, atEOF bool) (advance int, token []byte, err error) {
advance, token, err = bufio.ScanWords(data, atEOF)
if err == nil && token != nil {
_, err = strconv.ParseInt(string(token), 10, 32)
}
return
}
// Set the split function for the scanning operation.
scanner.Split(split)
// Validate the input
for scanner.Scan() {
fmt.Printf("%s\n", scanner.Text())
}
if err := scanner.Err(); err != nil {
fmt.Printf("Invalid input: %s", err)
}
}
于是，我們可以這樣改寫(xiě)我們的程序：
服務(wù)端代碼 server/main.go
func main() {
l, err := net.Listen("tcp", ":4044")
if err != nil {
panic(err)
}
fmt.Println("listen to 4044")
for {
conn, err := l.Accept()
if err != nil {
fmt.Println("conn err:", err)
} else {
go handleConn2(conn)
}
}
}
func packetSlitFunc(data []byte, atEOF bool) (advance int, token []byte, err error) {
// 檢查 atEOF 參數(shù) 和 數(shù)據(jù)包頭部的四個(gè)字節(jié)是否 為 0x123456(我們定義的協(xié)議的魔數(shù))
if !atEOF && len(data) > 6 && binary.BigEndian.Uint32(data[:4]) == 0x123456 {
var l int16
// 讀出 數(shù)據(jù)包中 實(shí)際數(shù)據(jù) 的長(zhǎng)度(大小為 0 ~ 2^16)
binary.Read(bytes.NewReader(data[4:6]), binary.BigEndian, &l)
pl := int(l) + 6
if pl <= len(data) {
return pl, data[:pl], nil
}
}
return
}
func handleConn2(conn net.Conn) {
defer conn.Close()
defer fmt.Println("關(guān)閉")
fmt.Println("新連接：", conn.RemoteAddr())
result := bytes.NewBuffer(nil)
var buf [65542]byte // 由于 標(biāo)識(shí)數(shù)據(jù)包長(zhǎng)度 的只有兩個(gè)字節(jié) 故數(shù)據(jù)包最大為 2^16+4(魔數(shù))+2(長(zhǎng)度標(biāo)識(shí))
for {
n, err := conn.Read(buf[0:])
result.Write(buf[0:n])
if err != nil {
if err == io.EOF {
continue
} else {
fmt.Println("read err:", err)
break
}
} else {
scanner := bufio.NewScanner(result)
scanner.Split(packetSlitFunc)
for scanner.Scan() {
fmt.Println("recv:", string(scanner.Bytes()[6:]))
}
}
result.Reset()
}
}
客戶端代碼 client/main.go
func main() {
l, err := net.Listen("tcp", ":4044")
if err != nil {
panic(err)
}
fmt.Println("listen to 4044")
for {
conn, err := l.Accept()
if err != nil {
fmt.Println("conn err:", err)
} else {
go handleConn2(conn)
}
}
}
func packetSlitFunc(data []byte, atEOF bool) (advance int, token []byte, err error) {
// 檢查 atEOF 參數(shù) 和 數(shù)據(jù)包頭部的四個(gè)字節(jié)是否 為 0x123456(我們定義的協(xié)議的魔數(shù))
if !atEOF && len(data) > 6 && binary.BigEndian.Uint32(data[:4]) == 0x123456 {
var l int16
// 讀出 數(shù)據(jù)包中 實(shí)際數(shù)據(jù) 的長(zhǎng)度(大小為 0 ~ 2^16)
binary.Read(bytes.NewReader(data[4:6]), binary.BigEndian, &l)
pl := int(l) + 6
if pl <= len(data) {
return pl, data[:pl], nil
}
}
return
}
func handleConn2(conn net.Conn) {
defer conn.Close()
defer fmt.Println("關(guān)閉")
fmt.Println("新連接：", conn.RemoteAddr())
result := bytes.NewBuffer(nil)
var buf [65542]byte // 由于 標(biāo)識(shí)數(shù)據(jù)包長(zhǎng)度 的只有兩個(gè)字節(jié) 故數(shù)據(jù)包最大為 2^16+4(魔數(shù))+2(長(zhǎng)度標(biāo)識(shí))
for {
n, err := conn.Read(buf[0:])
result.Write(buf[0:n])
if err != nil {
if err == io.EOF {
continue
} else {
fmt.Println("read err:", err)
break
}
} else {
scanner := bufio.NewScanner(result)
scanner.Split(packetSlitFunc)
for scanner.Scan() {
fmt.Println("recv:", string(scanner.Bytes()[6:]))
}
}
result.Reset()
}
}
運(yùn)行結(jié)果
listen to 4044
新連接： [::1]:55738
recv: [這里才是一個(gè)完整的數(shù)據(jù)包]
recv: [這里才是一個(gè)完整的數(shù)據(jù)包]
recv: [這里才是一個(gè)完整的數(shù)據(jù)包]
recv: [這里才是一個(gè)完整的數(shù)據(jù)包]
recv: [這里才是一個(gè)完整的數(shù)據(jù)包]
recv: [這里才是一個(gè)完整的數(shù)據(jù)包]
recv: [這里才是一個(gè)完整的數(shù)據(jù)包]
recv: [這里才是一個(gè)完整的數(shù)據(jù)包]
...省略其它的...
總結(jié)
以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，謝謝大家對(duì)腳本之家的支持。
相關(guān)文章
GPT回答:go語(yǔ)言和C語(yǔ)言切片對(duì)比
這篇文章主要為大家介紹了GPT回答:go語(yǔ)言和C語(yǔ)言切片對(duì)比,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-10-10
一文帶你了解Go語(yǔ)言中的I/O接口設(shè)計(jì)
I/O?操作在編程中扮演著至關(guān)重要的角色，它涉及程序與外部世界之間的數(shù)據(jù)交換，下面我們就來(lái)簡(jiǎn)單了解一下Go語(yǔ)言中的?I/O?接口設(shè)計(jì)吧2023-06-06
GO語(yǔ)言中的方法值和方法表達(dá)式的使用方法詳解
這篇文章主要介紹了GO的方法值和方法表達(dá)式的使用方法，本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-02-02
這篇文章主要介紹了Go語(yǔ)言判斷文件或文件夾是否存在的方法,結(jié)合具體實(shí)例形式對(duì)比分析了Go語(yǔ)言針對(duì)文件與目錄判斷的操作技巧與相關(guān)注意事項(xiàng),需要的朋友可以參考下2017-05-05
日常Go開(kāi)發(fā)中，Context包是用的最多的一個(gè)了，幾乎所有函數(shù)的第一個(gè)參數(shù)都是ctx，那么我們?yōu)槭裁匆獋鬟fContext呢，Context又有哪些用法，底層實(shí)現(xiàn)是如何呢？相信你也一定會(huì)有探索的欲望，那么就跟著本篇文章，一起來(lái)學(xué)習(xí)吧2023-03-03
在 Golang 中，type 關(guān)鍵字用于定義自定義類型，函數(shù)也是一種數(shù)據(jù)類型，因此可以使用 type 關(guān)鍵字來(lái)定義函數(shù)類型，本文就給大家詳細(xì)介紹一下Golang中的自定義函數(shù)類型,需要的朋友可以參考下2023-07-07
這篇文章主要為大家介紹了GO使用Mutex確保并發(fā)程序正確性詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-03-03
go語(yǔ)言通過(guò)odbc訪問(wèn)Sql Server數(shù)據(jù)庫(kù)的方法
這篇文章主要介紹了go語(yǔ)言通過(guò)odbc訪問(wèn)Sql Server數(shù)據(jù)庫(kù)的方法,實(shí)例分析了Go語(yǔ)言通過(guò)odbc連接與查SQL Server詢數(shù)據(jù)庫(kù)的技巧,需要的朋友可以參考下2015-03-03
解析Golang和Java的優(yōu)勢(shì)與劣勢(shì)
Golang和Java是兩種流行的編程語(yǔ)言,它們?cè)诤芏喾矫嬗兄嗨浦?但也存在一些重要的區(qū)別,本文將對(duì)Golang和Java進(jìn)行對(duì)比,探討它們的特點(diǎn)和適用場(chǎng)景,需要的朋友可以參考下2023-10-10
Go的switch的基本功能和C、Java類似，switch 語(yǔ)句用于基于不同條件執(zhí)行不同動(dòng)作，每一個(gè) case 分支都是唯一的，從上至下逐一測(cè)試，直到匹配為止，對(duì)Go條件語(yǔ)句Switch相關(guān)知識(shí)感興趣的朋友一起看看吧2021-08-08