golang socket斷點續(xù)傳大文件的實現(xiàn)方法
更新時間：2019年07月11日 08:43:56 作者：Tab609
今天小編就為大家分享一篇golang socket斷點續(xù)傳大文件的實現(xiàn)方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
在日常編程中，我們肯定會遇到用socket傳送文件內(nèi)容，如果是大文件的，總不能傳送到一半因某原因斷掉了，又從新傳送文件內(nèi)容吧。對，我們需要續(xù)傳，也就是接著上次傳送的位置繼續(xù)發(fā)送文件內(nèi)容。
續(xù)傳的話，其實并不難，我理解的思路大概如下：
客戶端發(fā)送消息詢問服務(wù)端，你上次接收到的文件內(nèi)容位置
服務(wù)端告訴客戶端上次接收到的文件內(nèi)容位置
客戶端就從上次斷點的位置繼續(xù)發(fā)送文件內(nèi)容
客戶端發(fā)送文件內(nèi)容完畢后通知服務(wù)端，然后斷開連接
下面我們看看代碼的實現(xiàn)
服務(wù)端
// file name: server.go
package main
import (
"os"
"io"
"net"
"log"
"strconv"
// "time"
)
// 把接收到的內(nèi)容append到文件
func writeFile(content []byte) {
if len(content) != 0 {
fp, err := os.OpenFile("test_1.txt", os.O_CREATE|os.O_WRONLY|os.O_APPEND, 0755)
defer fp.Close()
if err != nil {
log.Fatalf("open file faild: %s\n", err)
}
_, err = fp.Write(content)
if err != nil {
log.Fatalf("append content to file faild: %s\n", err)
}
log.Printf("append content: 【%s】 success\n", string(content))
}
}
// 獲取已接收內(nèi)容的大小
// (斷點續(xù)傳需要把已接收內(nèi)容大下通知客戶端從哪里開始發(fā)送文件內(nèi)容)
func getFileStat() int64 {
fileinfo, err := os.Stat("test_1.txt")
if err != nil {
// 如果首次沒有創(chuàng)建test_1.txt文件，則直接返回0
// 告訴客戶端從頭開始發(fā)送文件內(nèi)容
if os.IsNotExist(err) {
log.Printf("file size: %d\n", 0)
return int64(0)
}
log.Fatalf("get file stat faild: %s\n", err)
}
log.Printf("file size: %d\n", fileinfo.Size())
return fileinfo.Size()
}
func serverConn(conn net.Conn) {
defer conn.Close()
for {
var buf = make([]byte, 10)
n, err := conn.Read(buf)
if err != nil {
if err == io.EOF {
log.Println("server io EOF\n")
return
}
log.Fatalf("server read faild: %s\n", err)
}
log.Printf("recevice %d bytes, content is 【%s】\n", n, string(buf[:n]))
// 判斷客戶端發(fā)送過來的消息
// 如果是'start-->‘則表示需要告訴客戶端從哪里開始讀取文件數(shù)據(jù)發(fā)送
switch string(buf[:n]) {
case "start-->":
off := getFileStat()
// int conver string
stringoff := strconv.FormatInt(off, 10)
_, err = conn.Write([]byte(stringoff))
if err != nil {
log.Fatalf("server write faild: %s\n", err)
}
continue
case "<--end":
// 如果接收到客戶端通知所有文件內(nèi)容發(fā)送完畢消息則退出
log.Fatalf("receive over\n")
return
// default:
// time.Sleep(time.Second * 1)
}
// 把客戶端發(fā)送的內(nèi)容保存到文件
writeFile(buf[:n])
}
}
func main() {
// 建立監(jiān)聽
l, err := net.Listen("tcp", ":8888")
if err != nil {
log.Fatalf("error listen: %s\n", err)
}
defer l.Close()
log.Println("waiting accept.")
// 允許客戶端連接，在沒有客戶端連接時，會一直阻塞
conn, err := l.Accept()
if err != nil {
log.Fatalf("accept faild: %s\n", err)
}
serverConn(conn)
}
客戶端
// file name: client.go
package main
import (
"os"
"io"
"net"
"log"
"time"
"strconv"
)
// 獲取服務(wù)端發(fā)送的消息
func clientRead(conn net.Conn) int {
buf := make([]byte, 5)
n, err := conn.Read(buf)
if err != nil {
log.Fatalf("receive server info faild: %s\n", err)
}
// string conver int
off, err := strconv.Atoi(string(buf[:n]))
if err != nil {
log.Fatalf("string conver int faild: %s\n", err)
}
return off
}
// 發(fā)送消息到服務(wù)端
func clientWrite(conn net.Conn, data []byte) {
_, err := conn.Write(data)
if err != nil {
log.Fatalf("send 【%s】 content faild: %s\n", string(data), err)
}
log.Printf("send 【%s】 content success\n", string(data))
}
// client conn
func clientConn(conn net.Conn) {
defer conn.Close()
// 發(fā)送"start-->"消息通知服務(wù)端，我要開始發(fā)送文件內(nèi)容了
// 你趕緊告訴我你那邊已經(jīng)接收了多少內(nèi)容,我從你已經(jīng)接收的內(nèi)容處開始繼續(xù)發(fā)送
clientWrite(conn, []byte("start-->"))
off := clientRead(conn)
// send file content
fp, err := os.OpenFile("test.txt", os.O_RDONLY, 0755)
if err != nil {
log.Fatalf("open file faild: %s\n", err)
}
defer fp.Close()
// set file seek
// 設(shè)置從哪里開始讀取文件內(nèi)容
_, err = fp.Seek(int64(off), 0)
if err != nil {
log.Fatalf("set file seek faild: %s\n", err)
}
log.Printf("read file at seek: %d\n", off)
for {
// 每次發(fā)送10個字節(jié)大小的內(nèi)容
data := make([]byte, 10)
n, err := fp.Read(data)
if err != nil {
if err == io.EOF {
// 如果已經(jīng)讀取完文件內(nèi)容
// 就發(fā)送'<--end'消息通知服務(wù)端，文件內(nèi)容發(fā)送完了
time.Sleep(time.Second * 1)
clientWrite(conn, []byte("<--end"))
log.Println("send all content, now quit")
break
}
log.Fatalf("read file err: %s\n", err)
}
// 發(fā)送文件內(nèi)容到服務(wù)端
clientWrite(conn, data[:n])
}
}
func main() {
// connect timeout 10s
conn, err := net.DialTimeout("tcp", ":8888", time.Second * 10)
if err != nil {
log.Fatalf("client dial faild: %s\n", err)
}
clientConn(conn)
}
客戶端讀取文件test.txt內(nèi)容發(fā)送到服務(wù)端，服務(wù)端把接收到的文件內(nèi)容保存在test_1.txt文件中。我們模擬斷點續(xù)傳的方式是：
第一次先發(fā)送test.txt文件內(nèi)容到服務(wù)端
修改test.txt文件，加一些內(nèi)容
再次運行server socket以及client socket，觀察客戶端是不是只發(fā)送新增的文件內(nèi)容到服務(wù)端
# 假設(shè)我的test.txt文件有以下內(nèi)容 $ cat test.txt hello golang. # 先運行server socket再運行client socket（分別在兩個終端窗口運行） $ go run server.go $ go run client.go # 服務(wù)端會輸出以下內(nèi)容 2018/04/05 23:37:13 waiting accept. 2018/04/05 23:37:15 recevice 8 bytes, content is 【start-->】 2018/04/05 23:37:15 file size: 0 2018/04/05 23:37:15 recevice 10 bytes, content is 【hello gola】 2018/04/05 23:37:15 append content: 【hello gola】 success 2018/04/05 23:37:15 recevice 2 bytes, content is 【n.】 2018/04/05 23:37:15 append content: 【n.】 success 2018/04/05 23:37:16 recevice 6 bytes, content is 【<--end】 2018/04/05 23:37:16 receive over exit status 1 # 客戶端會輸出如下內(nèi)容 2018/04/05 23:37:15 send 【start-->】 content success 2018/04/05 23:37:15 read file at seek: 0 2018/04/05 23:37:15 send 【hello gola】 content success 2018/04/05 23:37:15 send 【n.】 content success 2018/04/05 23:37:16 send 【<--end】 content success 2018/04/05 23:37:16 send all content, now quit # 這時候我們看看test_1.txt內(nèi)容跟test.txt完全一致 $ cat test_1.txt hello golan. # ------- 模擬斷點續(xù)傳 ---------- # 現(xiàn)在我們往test.txt追加內(nèi)容: hello python. $ cat test.txt hello golang. hello python. # 我們再一次運行server socket 和 client socket(分別在兩個終端窗口運行） $ go run server.go $ go run client.go # 服務(wù)端會輸出以下內(nèi)容 2018/04/05 23:44:31 waiting accept. 2018/04/05 23:44:34 recevice 8 bytes, content is 【start-->】 2018/04/05 23:44:34 file size: 12 2018/04/05 23:44:34 recevice 10 bytes, content is 【 hello pyt】 2018/04/05 23:44:34 append content: 【 hello pyt】 success 2018/04/05 23:44:34 recevice 4 bytes, content is 【hon.】 2018/04/05 23:44:34 append content: 【hon.】 success 2018/04/05 23:44:35 recevice 6 bytes, content is 【<--end】 2018/04/05 23:44:35 receive over exit status 1 # 服務(wù)端在接收到客戶端發(fā)送的 start--> 信息后會獲取上次接收到文件內(nèi)容位置，并通知客戶端（這里file size 是12） # 客戶端會輸出以下內(nèi)容 2018/04/05 23:44:34 send 【start-->】 content success 2018/04/05 23:44:34 read file at seek: 12 2018/04/05 23:44:34 send 【 hello pyt】 content success 2018/04/05 23:44:34 send 【hon.】 content success 2018/04/05 23:44:35 send 【<--end】 content success 2018/04/05 23:44:35 send all content, now quit # 我們客戶端獲取到了服務(wù)端返回的文件位置，通過 Seek 來指定從哪里開始讀取文件 # 通過日志可以看到我們客戶端只發(fā)送了后面追加的內(nèi)容: hello python. 到服務(wù)端 # 我們看看此時test_1.txt文件的內(nèi)容是否跟test.txt一致 $ cat test_1.txt hello golang. hello python.
以上這篇golang socket斷點續(xù)傳大文件的實現(xiàn)方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要圍繞Golang數(shù)據(jù)類型比較詳細(xì)展開，文中有詳細(xì)的比較過程，需要的朋友可以參考一下2023-04-04
這篇文章主要介紹了golang逐行讀取文件的操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-12-12
這篇文章主要為大家介紹了beyla源碼解讀之golang與非golang程序的探測實例，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-12-12
這篇文章主要介紹了Go語言使用swagger生成接口文檔的方法，本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-09-09
字符串和切片，都是golang常用的兩種內(nèi)置數(shù)據(jù)類型，最近在日常工作中，遇到了一個字符串切片導(dǎo)致的問題，記錄一下排查問題的過程，避免后續(xù)在這種場景上踩坑2023-07-07
Golang如何編寫內(nèi)存高效及CPU調(diào)優(yōu)的Go結(jié)構(gòu)體
這篇文章主要介紹了Golang如何編寫內(nèi)存高效及CPU調(diào)優(yōu)的Go結(jié)構(gòu)體，結(jié)構(gòu)體是包含多個字段的集合類型，用于將數(shù)據(jù)組合為記錄2022-07-07
為了更加便捷地遍歷這些數(shù)據(jù)類型，Go語言引入了for...range語句，本文將以數(shù)組遍歷為起點，逐步介紹for...range語句在不同數(shù)據(jù)類型中的應(yīng)用，希望對大家有所幫助2023-06-06
golang如何用type-switch判斷interface變量的實際存儲類型
這篇文章主要介紹了golang如何用type-switch判斷interface變量的實際存儲類型，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-04-04
Golang打包go項目部署到linux服務(wù)器正確方法
這篇文章主要給大家介紹了關(guān)于Golang打包go項目部署到linux服務(wù)器的正確方法,Go?是一個開源的編程語言,它能讓構(gòu)造簡單、可靠且高效的軟件變得容易,具有簡潔、快速、安全，并行、有趣、開源,內(nèi)存管理、v數(shù)組安全、編譯迅速的特征,需要的朋友可以參考下2023-10-10
golang?gorm學(xué)習(xí)之如何指定數(shù)據(jù)表
在sql中首先要指定是從哪張表中查詢,所以這篇文章小編就來帶大家一起看一下gorm是如何根據(jù)model來自動解析表名的,感興趣的小伙伴可以了解下2023-08-08