GoLang讀取文件的10種方法實例
一. 整個文件讀入內存
直接將數(shù)據直接讀取入內存，是效率最高的一種方式，但此種方式，僅適用于小文件，對于大文件，則不適合，因為比較浪費內存
1.直接指定文化名讀取
在 Go 1.16 開始，ioutil.ReadFile 就等價于 os.ReadFile，二者是完全一致的
1.1使用os.ReadFile函數(shù)讀取文件
package main
import (
"fmt"
"os"
)
func main() {
//func ReadFile(name string) ([]byte, error) {}
content, err := os.ReadFile("a.txt")
if err != nil {
panic(err)
}
fmt.Println(string(content))
}
1.2使用ioutil.ReadFile函數(shù)讀取文件
package main
import (
"io/ioutil"
"fmt"
)
func main() {
content, err := ioutil.ReadFile("a.txt")
if err != nil {
panic(err)
}
fmt.Println(string(content))
}
// As of Go 1.16, this function simply calls os.ReadFile.
func ReadFile(filename string) ([]byte, error) {
return os.ReadFile(filename)
}
2.先創(chuàng)建句柄再讀取
2.1使用os.OpenFile函數(shù)只讀形式獲取句柄
package main
import (
"os"
"io/ioutil"
"fmt"
)
func main() {
/*func Open(name string) (*File, error) {
return OpenFile(name, O_RDONLY, 0)
}*/
//Open是一個高級函數(shù)，是因為它是只讀模式來打開文件
/*也可以直接使用 os.OpenFile，只是要多加兩個參數(shù)
file, err := os.OpenFile("a.txt", os.O_RDONLY, 0)*/
file, err := os.Open("a.txt")
if err != nil {
panic(err)
}
//func (f *File) Close() error {}
defer file.Close()
//func ReadAll(r io.Reader) ([]byte, error) {}
content, err := ioutil.ReadAll(file)
fmt.Println(string(content))
}
2.2代碼講解
2.2.1os.File結構體
type File struct {
*file // os specific
}
2.2.2os.OpenFile函數(shù)
func OpenFile(name string, flag int, perm FileMode) (
*File, error) {}
2.2.3io.Reader接口
type Reader interface {
Read(p []byte) (n int, err error)
}
二.每次只讀取一行
一次性讀取所有的數(shù)據，太耗費內存，因此可以指定每次只讀取一行數(shù)據，方法有三種：
(1)bufio.讀行（）
(2)bufio.讀取字節(jié)（"\n"）
(3)bufio.ReadString（’\n’）
在 bufio 的源碼注釋中，曾說道 bufio.ReadLine（） 是低級庫，不太適合普通用戶使用，更推薦用戶使用 bufio.ReadBytes和bufio.ReadString 去讀取單行數(shù)據
因此，這里不再介紹 bufio.讀行（）
1.使用bufio.Reader結構體的ReadBytes方法讀取字節(jié)數(shù)
ReadBytes讀取直到第一次遇到delim字節(jié)，返回一個包含已讀取的數(shù)據和delim字節(jié)的切片。如果ReadBytes方法在讀取到delim之前遇到了錯誤，它會返回在錯誤之前讀取的數(shù)據以及該錯誤（一般是io.EOF）。當且僅當ReadBytes方法返回的切片不以delim結尾時，會返回一個非nil的錯誤
package main
import (
"bufio"
"fmt"
"io"
"os"
"strings"
)
func main() {
// 創(chuàng)建句柄
fi, err := os.Open("christmas_apple.py")
if err != nil {
panic(err)
}
//func NewReader(rd io.Reader) *Reader {}，返回的是bufio.Reader結構體
r := bufio.NewReader(fi)// 創(chuàng)建 Reader
for {
//func (b *Reader) ReadBytes(delim byte) ([]byte, error) {}
lineBytes, err := r.ReadBytes('\n')
//去掉字符串首尾空白字符，返回字符串
line := strings.TrimSpace(string(lineBytes))
if err != nil && err != io.EOF {
panic(err)
}
if err == io.EOF {
break
}
fmt.Println(line)
}
}
2.使用bufio.Reader結構體的ReadString方法讀取字符串
ReadString讀取直到第一次遇到delim字節(jié)，返回一個包含已讀取的數(shù)據和delim字節(jié)的字符串。如果ReadString方法在讀取到delim之前遇到了錯誤，它會返回在錯誤之前讀取的數(shù)據以及該錯誤（一般是io.EOF）。當且僅當ReadString方法返回的切片不以delim結尾時，會返回一個非nil的錯誤
package main
import (
"bufio"
"fmt"
"io"
"os"
"strings"
)
func main() {
// 創(chuàng)建句柄
fi, err := os.Open("a.txt")
if err != nil {
panic(err)
}
// 創(chuàng)建 Reader
r := bufio.NewReader(fi)
for {
//func (b *Reader) ReadString(delim byte) (string, error) {}
line, err := r.ReadString('\n')
line = strings.TrimSpace(line)
if err != nil && err != io.EOF {
panic(err)
}
if err == io.EOF {
break
}
fmt.Println(line)
}
}
3.代碼講解
3.1bufio.Reader結構體
type Reader struct {
buf []byte
rd io.Reader // reader provided by the client
r, w int // buf read and write positions
err error
lastByte int // last byte read for UnreadByte; -1 means invalid
lastRuneSize int // size of last rune read for UnreadRune; -1 means invalid
}
三.每次只讀取固定字節(jié)數(shù)
每次僅讀取一行數(shù)據，可以解決內存占用過大的問題，但要注意的是，并不是所有的文件都有換行符 \n;
因此對于一些不換行的大文件來說，還得再想想其他辦法
1.使用os庫
通用的做法是：
先創(chuàng)建一個文件句柄，可以使用 os.Open 或者 os.OpenFile；
然后 bufio.NewReader 創(chuàng)建一個 Reader；
然后在 for 循環(huán)里調用 Reader 的 Read 函數(shù)，每次僅讀取固定字節(jié)數(shù)量的數(shù)據
Read方法讀取數(shù)據寫入p；本方法返回寫入p的字節(jié)數(shù)；本方法一次調用最多會調用下層Reader接口一次Read方法，因此返回值n可能小于len§；讀取到達結尾時，返回值n將為0而err將為io.EOF
package main
import (
"bufio"
"fmt"
"io"
"os"
)
func main() {
// 創(chuàng)建句柄
fi, err := os.Open("a.txt")
if err != nil {
panic(err)
}
// 創(chuàng)建 Reader
r := bufio.NewReader(fi)
// 每次讀取 1024 個字節(jié)
buf := make([]byte, 1024)
for {
//func (b *Reader) Read(p []byte) (n int, err error) {}
n, err := r.Read(buf)
if err != nil && err != io.EOF {
panic(err)
}
if n == 0 {
break
}
fmt.Println(string(buf[:n]))
}
}
2.使用 syscall庫
os 庫本質上也是調用 syscall 庫，但由于 syscall 過于底層，如非特殊需要，一般不會使用 syscall；
本篇為了內容的完整度，這里也使用 syscall 來舉個例子；
本例中，會每次讀取 100 字節(jié)的數(shù)據，并發(fā)送到通道中，由另外一個協(xié)程進行讀取并打印出來
package main
import (
"fmt"
"sync"
"syscall"
)
func main() {
fd, err := syscall.Open("christmas_apple.py", syscall.O_RDONLY, 0)
if err != nil {
fmt.Println("Failed on open: ", err)
}
defer syscall.Close(fd)
var wg sync.WaitGroup
wg.Add(2)
dataChan := make(chan []byte)
go func() {
wg.Done()
for {
data := make([]byte, 100)
n, _ := syscall.Read(fd, data)
if n == 0 {
break
}
dataChan <- data
}
close(dataChan)
}()
go func() {
defer wg.Done()
for {
select {
case data, ok := <-dataChan:
if !ok {
return
}
fmt.Printf(string(data))
default:
}
}
}()
wg.Wait()
}
總結
到此這篇關于GoLang讀取文件的10種方法的文章就介紹到這了,更多相關GoLang讀取文件內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
這篇文章介紹了Go語言中Goroutine的設置方式，文中通過示例代碼介紹的非常詳細。對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2022-07-07
這篇文章主要介紹了Golang極簡入門教程（四）：編寫第一個項目,本文講解了workspace、包路徑、第一個可執(zhí)行命令等內容,需要的朋友可以參考下2014-10-10
這篇文章主要為大家介紹了golang實現(xiàn)簡單的tcp數(shù)據傳輸，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-12-12
在實際的應用中,配置文件通常包含了一些敏感的信息,如數(shù)據庫密碼、API密鑰等,為了保護這些敏感信息不被惡意獲取,我們可以對配置文件進行加密,本文將介紹如何使用Go語言實現(xiàn)對配置文件的加密,需要的朋友可以參考下2023-10-10
golang socket斷點續(xù)傳大文件的實現(xiàn)方法
今天小編就為大家分享一篇golang socket斷點續(xù)傳大文件的實現(xiàn)方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-07-07
這篇文章主要介紹了jenkins構建go及java項目,本文通過圖文實例相結合給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值了，需要的朋友可以參考下2021-04-04
Excelize是Go語言編寫的用于操作Office Excel文檔基礎庫,基于ECMA-376,ISO/IEC 29500國際標準,可以使用它來讀取、寫入由Excel 2007及以上版本創(chuàng)建的電子表格文檔,下面這篇文章主要給大家介紹了關于Go語言操作Excel利器之excelize類庫的相關資料,需要的朋友可以參考下2022-10-10
橋接模式是一種結構型設計模式，通過橋接模式可以將抽象部分和它的實現(xiàn)部分分離，本文主要介紹了GoLang橋接模式，文中通過示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2022-01-01
這篇文章主要介紹了Golang 實現(xiàn)超大文件讀取的兩種方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-04-04
這篇文章主要介紹了Golang中生成隨機字符串并復制到粘貼板的方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-12-12