一文了解Go語(yǔ)言io.Copy函數(shù)
1. 引言
io.Copy 函數(shù)是一個(gè)非常好用的函數(shù),能夠非常方便得將數(shù)據(jù)進(jìn)行拷貝。
本文我們將從io.Copy 函數(shù)的基本定義出發(fā),講述其基本使用和實(shí)現(xiàn)原理,以及一些注意事項(xiàng),基于此完成對(duì)io.Copy 函數(shù)的介紹。
2. 基本說(shuō)明
2.1 基本定義
Copy函數(shù)用于將數(shù)據(jù)從源(io.Reader)復(fù)制到目標(biāo)(io.Writer)。它會(huì)持續(xù)復(fù)制直到源中的數(shù)據(jù)全部讀取完畢或發(fā)生錯(cuò)誤,并返回復(fù)制的字節(jié)數(shù)和可能的錯(cuò)誤。
函數(shù)定義如下:
func Copy(dst io.Writer, src io.Reader) (written int64, err error)
其中dst 為目標(biāo)寫(xiě)入器,用于接收源數(shù)據(jù);
src則是源讀取器,用于提供數(shù)據(jù)。
2.2 使用示例
下面提供一個(gè)使用 io.Copy 實(shí)現(xiàn)數(shù)據(jù)拷貝的代碼示例,比便更好得理解和使用Copy函數(shù),代碼示例如下:
package main
import (
"fmt"
"io"
"os"
)
func main() {
fmt.Print("請(qǐng)輸入一個(gè)字符串:")
src := readString()
// 通過(guò)io.Copy 函數(shù)能夠?qū)?src 的全部數(shù)據(jù) 拷貝到 控制臺(tái)上輸出
written, err := io.Copy(os.Stdout, src)
if err != nil {
fmt.Println("復(fù)制過(guò)程中發(fā)生錯(cuò)誤:", err)
return
}
fmt.Printf("\n成功復(fù)制了 %d 個(gè)字節(jié)。\n", written)
}
func readString() io.Reader {
buffer := make([]byte, 1024)
n, _ := os.Stdin.Read(buffer)
// 如果實(shí)際讀取的字節(jié)數(shù)少于切片長(zhǎng)度,則截取切片
if n < len(buffer) {
buffer = buffer[:n]
}
return strings.NewReader(string(buffer))
}在這個(gè)例子中,我們首先使用readString函數(shù)從標(biāo)準(zhǔn)輸入中讀取字符串,然后使用strings.NewReader將其包裝為io.Reader返回。
然后,我們調(diào)用io.Copy函數(shù),將讀取到數(shù)據(jù)全部復(fù)制到標(biāo)準(zhǔn)輸出(os.Stdout)。
最后,我們打印復(fù)制的字節(jié)數(shù)。可以運(yùn)行這個(gè)程序并在終端輸入一個(gè)字符串,通過(guò)Copy函數(shù),程序最終會(huì)將字符串打印到終端上。
3. 實(shí)現(xiàn)原理
在了解了io.Copy 函數(shù)的基本定義和使用后,這里我們來(lái)對(duì) io.Copy 函數(shù)的實(shí)現(xiàn)來(lái)進(jìn)行基本的說(shuō)明,加深對(duì) io.Copy 函數(shù)的理解。
io.Copy基本實(shí)現(xiàn)原理如下,首先創(chuàng)建一個(gè)緩沖區(qū),用于暫存從源Reader讀取到的數(shù)據(jù)。然后進(jìn)入一個(gè)循環(huán),每次循環(huán)從源Reader讀取數(shù)據(jù),然后存儲(chǔ)到之前創(chuàng)建的緩沖區(qū),之后再寫(xiě)入到目標(biāo)Writer中。不斷重復(fù)這個(gè)過(guò)程,直到源Reader返回EOF,此時(shí)代表數(shù)據(jù)已經(jīng)全部讀取完成,io.Copy也完成了從源Reader往目標(biāo)Writer拷貝全部數(shù)據(jù)的工作。
在這個(gè)過(guò)程中,如果往目標(biāo)Writer寫(xiě)入數(shù)據(jù)過(guò)程中發(fā)生錯(cuò)誤,亦或者從源Reader讀取數(shù)據(jù)發(fā)生錯(cuò)誤,此時(shí)io.Copy函數(shù)將會(huì)中斷,然后返回對(duì)應(yīng)的錯(cuò)誤。下面我們來(lái)看io.Copy的實(shí)現(xiàn):
func Copy(dst Writer, src Reader) (written int64, err error) {
// Copy 函數(shù) 調(diào)用了 copyBuffer 函數(shù)來(lái)實(shí)現(xiàn)
return copyBuffer(dst, src, nil)
}
func copyBuffer(dst Writer, src Reader, buf []byte) (written int64, err error) {
// 如果 源Reader 實(shí)現(xiàn)了 WriterTo 接口,直接調(diào)用該方法 將數(shù)據(jù)寫(xiě)入到 目標(biāo)Writer 當(dāng)中
if wt, ok := src.(WriterTo); ok {
return wt.WriteTo(dst)
}
// 同理,如果 目標(biāo)Writer 實(shí)現(xiàn)了 ReaderFrom 接口,直接調(diào)用ReadFrom方法
if rt, ok := dst.(ReaderFrom); ok {
return rt.ReadFrom(src)
}
// 如果沒(méi)有傳入緩沖區(qū),此時(shí)默認(rèn) 創(chuàng)建一個(gè) 緩沖區(qū)
if buf == nil {
// 默認(rèn)緩沖區(qū) 大小為 32kb
size := 32 * 1024
// 如果源Reader 為L(zhǎng)imitedReader, 此時(shí)比較 可讀數(shù)據(jù)數(shù) 和 默認(rèn)緩沖區(qū),取較小那個(gè)
if l, ok := src.(*LimitedReader); ok && int64(size) > l.N {
if l.N < 1 {
size = 1
} else {
size = int(l.N)
}
}
buf = make([]byte, size)
}
for {
// 調(diào)用Read方法 讀取數(shù)據(jù)
nr, er := src.Read(buf)
if nr > 0 {
// 將數(shù)據(jù)寫(xiě)入到 目標(biāo)Writer 當(dāng)中
nw, ew := dst.Write(buf[0:nr])
// 判斷寫(xiě)入是否 出現(xiàn)了 錯(cuò)誤
if nw < 0 || nr < nw {
nw = 0
if ew == nil {
ew = errInvalidWrite
}
}
// 累加 總寫(xiě)入數(shù)據(jù)
written += int64(nw)
if ew != nil {
err = ew
break
}
// 寫(xiě)入字節(jié)數(shù) 小于 讀取字節(jié)數(shù),此時(shí)報(bào)錯(cuò)
if nr != nw {
err = ErrShortWrite
break
}
}
if er != nil {
if er != EOF {
err = er
}
break
}
}
return written, err
}從上述基本原理和代碼實(shí)現(xiàn)來(lái)看,io.Copy 函數(shù)的實(shí)現(xiàn)還是非常簡(jiǎn)單的,就是申請(qǐng)一個(gè)緩沖區(qū),然后從源Reader讀取一些數(shù)據(jù)放到緩沖區(qū)中,然后再將緩沖區(qū)的數(shù)據(jù)寫(xiě)入到 目標(biāo)Writer, 如此往復(fù),直到數(shù)據(jù)全部讀取完成。
4. 注意事項(xiàng)
4.1 注意關(guān)閉源Reader和目標(biāo)Writer
在使用io.Copy 進(jìn)行數(shù)據(jù)拷貝時(shí),需要指定源Reader 和 目標(biāo)Writer,當(dāng)io.Copy 完成數(shù)據(jù)拷貝工作后,我們需要調(diào)用Close 方法關(guān)閉 源Reader 和 目標(biāo)Writer。如果沒(méi)有適時(shí)關(guān)閉資源,可能會(huì)導(dǎo)致一些不可預(yù)料情況的出現(xiàn)。
下面展示一個(gè)使用 io.Copy 進(jìn)行文件復(fù)制的代碼示例,同時(shí)簡(jiǎn)單說(shuō)明不適時(shí)關(guān)閉資源可能導(dǎo)致的問(wèn)題:
package main
import (
"fmt"
"io"
"os"
)
func main() {
sourceFile := "source.txt"
destinationFile := "destination.txt"
// 打開(kāi)源文件
src, err := os.Open(sourceFile)
if err != nil {
fmt.Println("無(wú)法打開(kāi)源文件:", err)
return
}
// 調(diào)用Close方法
defer src.Close()
// 創(chuàng)建目標(biāo)文件
dst, err := os.Create(destinationFile)
if err != nil {
fmt.Println("無(wú)法創(chuàng)建目標(biāo)文件:", err)
return
}
// 調(diào)用Close 方法
defer dst.Close()
// 執(zhí)行文件復(fù)制
_, err = io.Copy(dst, src)
if err != nil {
fmt.Println("復(fù)制文件出錯(cuò):", err)
return
}
fmt.Println("文件復(fù)制成功!")
}使用 io.Copy 函數(shù)將源文件的內(nèi)容復(fù)制到目標(biāo)文件中。在結(jié)束代碼之前,我們需要適時(shí)地關(guān)閉源文件和目標(biāo)文件。以上面使用io.Copy 實(shí)現(xiàn)文件復(fù)制功能為例,如果我們沒(méi)有適時(shí)關(guān)閉資源,首先是可能會(huì)導(dǎo)致文件句柄泄漏,數(shù)據(jù)不完整等一系列問(wèn)題的出現(xiàn)。
因此我們?cè)?code>io.Copy函數(shù)之后,需要在適當(dāng)?shù)牡胤秸{(diào)用Close關(guān)閉系統(tǒng)資源。
4.2 考慮性能問(wèn)題
io.Copy 函數(shù)默認(rèn)使用一個(gè)32KB大小的緩沖區(qū)來(lái)復(fù)制數(shù)據(jù),如果我們處理的是大型文件,亦或者是高性能要求的場(chǎng)景,此時(shí)是可以考慮直接使用io.CopyBuffer 函數(shù),自定義緩沖區(qū)大小,以優(yōu)化復(fù)制性能。而io.Copy和io.CopyBuffer 底層其實(shí)都是調(diào)用io.copyBuffer 函數(shù)的,二者底層實(shí)現(xiàn)其實(shí)沒(méi)有太大的區(qū)別。
下面通過(guò)一個(gè)基準(zhǔn)測(cè)試,展示不同緩沖區(qū)大小對(duì)數(shù)據(jù)拷貝性能的影響:
func BenchmarkCopyWithBufferSize(b *testing.B) {
// 本地運(yùn)行時(shí), 文件大小為 100 M
filePath := "largefile.txt"
bufferSizes := []int{32 * 1024, 64 * 1024, 128 * 1024} // 不同的緩沖區(qū)大小
for _, bufferSize := range bufferSizes {
b.Run(fmt.Sprintf("BufferSize-%d", bufferSize), func(b *testing.B) {
for n := 0; n < b.N; n++ {
src, _ := os.Open(filePath)
dst, _ := os.Create("destination.txt")
buffer := make([]byte, bufferSize)
_, _ = io.CopyBuffer(dst, src, buffer)
_ = src.Close()
_ = dst.Close()
_ = os.Remove("destination.txt")
}
})
}
}這里我們定義的緩沖區(qū)大小分別是32KB, 64KB和128KB,然后使用該緩沖區(qū)來(lái)拷貝數(shù)據(jù)。下面我們看基準(zhǔn)測(cè)試的結(jié)果:
BenchmarkCopyWithBufferSize/BufferSize-32768-4 12 116494592 ns/op
BenchmarkCopyWithBufferSize/BufferSize-65536-4 10 110496584 ns/op
BenchmarkCopyWithBufferSize/BufferSize-131072-4 12 87667712 ns/op
從這里看來(lái),32KB大小的緩沖區(qū)拷貝一個(gè)100M的文件,需要116494592 ns/op, 而128KB大小的緩沖區(qū)拷貝一個(gè)100M的文件,需要87667712 ns/op。不同緩沖區(qū)的大小,確實(shí)是會(huì)對(duì)拷貝的性能有一定的影響。
在實(shí)際使用中,根據(jù)文件大小、系統(tǒng)資源和性能需求,可以根據(jù)需求進(jìn)行緩沖區(qū)大小的調(diào)整。較小的文件通??梢灾苯邮褂?code>io.Copy 函數(shù)默認(rèn)的 32KB 緩沖區(qū),而較大的文件可能需要更大的緩沖區(qū)來(lái)提高性能。通過(guò)合理選擇緩沖區(qū)大小,可以獲得更高效的文件復(fù)制操作。
5. 總結(jié)
io.Copy 函數(shù)是Go語(yǔ)言標(biāo)準(zhǔn)庫(kù)提供的一個(gè)工具函數(shù),能夠?qū)?shù)據(jù)從源Reader復(fù)制到目標(biāo)Writer。 我們先從io.Copy 函數(shù)的基本定義出發(fā),之后通過(guò)一個(gè)簡(jiǎn)單的示例,展示如何使用io.Copy 函數(shù)實(shí)現(xiàn)數(shù)據(jù)拷貝。
接著我們講述了io.Copy 函數(shù)的實(shí)現(xiàn)原理,其實(shí)就是定義了一個(gè)緩沖區(qū),將源Reader數(shù)據(jù)寫(xiě)入到緩沖區(qū)中,然后再將緩沖區(qū)的數(shù)據(jù)寫(xiě)入到目標(biāo)Writer,不斷重復(fù)這個(gè)過(guò)程,實(shí)現(xiàn)了數(shù)據(jù)的拷貝。
在注意事項(xiàng)方面,則強(qiáng)調(diào)了及時(shí)關(guān)閉源Reader和目標(biāo)Writer的重要性。以及用戶在使用時(shí),需要考慮io.Copy函數(shù)的性能是否能夠滿足要求,之后通過(guò)基準(zhǔn)測(cè)試展示了不同緩沖區(qū)大小可能帶來(lái)的性能差距。
基于此,完成了對(duì)io.Copy 函數(shù)的介紹,希望對(duì)你有所幫助。
更多關(guān)于Go語(yǔ)言io.Copy函數(shù)的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
Go語(yǔ)言時(shí)間相關(guān)操作合集(超詳細(xì))
在開(kāi)發(fā)應(yīng)用程序的過(guò)程中,經(jīng)常需要記錄某些操作的時(shí)間或者格式化時(shí)間戳,因此大部分編程語(yǔ)言都會(huì)有操作時(shí)間的庫(kù),Go語(yǔ)言當(dāng)然也不例外,本文我們就一起來(lái)學(xué)習(xí)一下time包的使用2023-08-08
Go高效率開(kāi)發(fā)Web參數(shù)校驗(yàn)三種方式實(shí)例
這篇文章主要介紹了Go高效率開(kāi)發(fā)Web參數(shù)校驗(yàn)三種方式實(shí)例,需要的朋友可以參考下2022-11-11
Golang實(shí)現(xiàn)對(duì)map的并發(fā)讀寫(xiě)的方法示例
這篇文章主要介紹了Golang實(shí)現(xiàn)對(duì)map的并發(fā)讀寫(xiě)的方法示例,小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2019-03-03
Golang實(shí)現(xiàn)Java虛擬機(jī)之解析class文件詳解
這篇文章主要為大家詳細(xì)介紹了Golang實(shí)現(xiàn)Java虛擬機(jī)之解析class文件的相關(guān)知識(shí),文中的示例代碼講解詳細(xì),感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2024-01-01
go-micro集成RabbitMQ實(shí)戰(zhàn)和原理詳解
本文主要介紹go-micro使用RabbitMQ收發(fā)數(shù)據(jù)的方法和原理,文中通過(guò)示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2022-05-05
關(guān)于Golang標(biāo)準(zhǔn)庫(kù)flag的全面講解
這篇文章主要介紹了關(guān)于Golang標(biāo)準(zhǔn)庫(kù)flag的全面講解,這個(gè)庫(kù)的代碼量只有1000行左右,卻提供了非常完善的命令行參數(shù)解析功能,更多相關(guān)內(nèi)容需要的朋友可以參考一下2022-09-09
Go實(shí)現(xiàn)后臺(tái)任務(wù)調(diào)度系統(tǒng)的實(shí)例代碼
平常我們?cè)陂_(kāi)發(fā)API的時(shí)候,前端傳遞過(guò)來(lái)的大批數(shù)據(jù)需要經(jīng)過(guò)后端處理,如果后端處理的速度快,前端響應(yīng)就快,反之則很慢,影響用戶體驗(yàn),為了解決這一問(wèn)題,需要我們自己實(shí)現(xiàn)后臺(tái)任務(wù)調(diào)度系統(tǒng),本文將介紹如何用Go語(yǔ)言實(shí)現(xiàn)后臺(tái)任務(wù)調(diào)度系統(tǒng),需要的朋友可以參考下2023-06-06

