golang逐行讀取文件的操作
我就廢話不多說了，大家還是直接看代碼吧~
func ReadLine(fileName string) ([]string,error){
f, err := os.Open(fileName)
if err != nil {
return nil,err
}
buf := bufio.NewReader(f)
var result []string
for {
line, err := buf.ReadString('\n')
line = strings.TrimSpace(line)
if err != nil {
if err == io.EOF { //讀取結(jié)束，會(huì)報(bào)EOF
return result,nil
}
return nil,err
}
result = append(result,line)
}
return result,nil
}
補(bǔ)充：Golang讀取文件和處理超大文件方案
Golang 操作文件的讀取的方法很多,適用的場(chǎng)景也是各不相同,在此我們將文件的讀取分為如下幾種 :
文件整體讀取
文件分片讀取(塊級(jí)讀取)
文件行級(jí)讀取
系統(tǒng)的配置不同,執(zhí)行的耗時(shí)也不相同,此處給出一參考
系統(tǒng)配置 :
OS : Windows10
Memory : 16G
CPU (英特爾)Intel® Core™ i3-4370 CPU @ 3.80GHz(3800 MHz)
1. 文件整體讀取
文件整體讀取就是將文件一次性讀取到,理解上是將文件的內(nèi)容第一次就讀取完了
使用場(chǎng)景 :
針對(duì)小文件比較合適(大文件讀取空間和時(shí)間的消耗也很大)
對(duì)于整體性強(qiáng)的文件也比較合適(文件也不能太大)
代碼示例1
package main
import (
"bufio"
"fmt"
"io"
"io/ioutil"
"log"
"os"
"time"
)
// 測(cè)試用的文本文件11M大小
var m11 string = `G:\runtime\log\ccapi\11M.log`
// 測(cè)試用的文本文件400M大小
var m400 string = `G:\runtime\log\ccapi\400M.log`
// 將整個(gè)文件都讀取
func readAll(filePath string) {
start1 := time.Now()
ioutil.ReadFile(filePath)
fmt.Println("readAll spend : ", time.Now().Sub(start1))
}
func main() {
readAll(m11)
readAll(m400)
}
$ go run main.go readAll spend : 6.9999ms readAll spend : 358.8014ms
代碼示例2
package main
import (
"bufio"
"fmt"
"io"
"io/ioutil"
"log"
"os"
"time"
)
// 測(cè)試用的文本文件11M大小
var m11 string = `G:\runtime\log\ccapi\11M.log`
// 測(cè)試用的文本文件400M大小
var m400 string = `G:\runtime\log\ccapi\400M.log`
// 將文件完整讀取
func readAllBuff(filePath string) {
start1 := time.Now()
// 打開文件
FileHandle, err := os.Open(filePath)
if err != nil {
log.Println(err)
return
}
// 關(guān)閉文件
defer FileHandle.Close()
// 獲取文件當(dāng)前信息
fileInfo, err := FileHandle.Stat()
if err != nil {
log.Println(err)
return
}
buffer := make([]byte, fileInfo.Size())
// 讀取文件內(nèi)容,并寫入buffer中
n, err := FileHandle.Read(buffer)
if err != nil {
log.Println(err)
}
// 打印所有切片中的內(nèi)容
fmt.Println(string(buffer[:n]))
fmt.Println("readAllBuff spend : ", time.Now().Sub(start1))
}
func main() {
readAllBuff(m11)
readAllBuff(m400)
}
2. 文件分片讀取
對(duì)文件一部分一部分逐步的讀取,直到文件完全讀取完
PS : 每次讀取文件的大小是根據(jù)設(shè)置的 分片 大小 ,所以對(duì)于讀取文本類型的文件時(shí)(例如 : 日志文件)
不一定是按照你的期望逐行輸出,因?yàn)椴粫?huì)處理文本尾部的換行符,而是按照分片大小讀取內(nèi)容
使用場(chǎng)景 :
讀取超大的文件很合適
讀二進(jìn)制類型的文件很合適(比如:音視頻文件或者資源類型文件等)
代碼示例
package main
import (
"bufio"
"fmt"
"io"
"io/ioutil"
"log"
"os"
"time"
)
// 測(cè)試用的文本文件11M大小
var m11 string = `G:\runtime\log\ccapi\11M.log`
// 測(cè)試用的文本文件400M大小
var m400 string = `G:\runtime\log\ccapi\400M.log`
// 文件一塊一塊的讀取
func readBlock(filePath string) {
start1 := time.Now()
FileHandle, err := os.Open(filePath)
if err != nil {
log.Println(err)
return
}
defer FileHandle.Close()
// 設(shè)置每次讀取字節(jié)數(shù)
buffer := make([]byte, 1024)
for {
n, err := FileHandle.Read(buffer)
// 控制條件,根據(jù)實(shí)際調(diào)整
if err != nil && err != io.EOF {
log.Println(err)
}
if n == 0 {
break
}
// 如下代碼打印出每次讀取的文件塊(字節(jié)數(shù))
//fmt.Println(string(buffer[:n]))
}
fmt.Println("readBolck spend : ", time.Now().Sub(start1))
}
func main() {
readBlock(m11)
readBlock(m400)
}
$ go run main.go readBolck spend : 31.9814ms readBolck spend : 1.0889488s
3. 文件逐行讀取
對(duì)文件一行一行的讀取,直到讀到文件末尾
使用場(chǎng)景 :
讀取超大的文件很合適(例如 : 超大log文件等)
讀取的文件最好是有換行的(如果使用單行文件組成的大文件,需要注意)
對(duì)需要分析內(nèi)容的大文件
統(tǒng)計(jì)某些數(shù)據(jù)出現(xiàn)的次數(shù)
查詢某些數(shù)據(jù)是否存在
查找指定行的數(shù)據(jù)
示例代碼1
package main
import (
"bufio"
"fmt"
"io"
"io/ioutil"
"log"
"os"
"time"
)
// 測(cè)試用的文本文件11M大小
var m11 string = `G:\runtime\log\ccapi\11M.log`
// 測(cè)試用的文本文件400M大小
var m400 string = `G:\runtime\log\ccapi\400M.log`
// 讀取文件的每一行
func readEachLineReader(filePath string) {
start1 := time.Now()
FileHandle, err := os.Open(filePath)
if err != nil {
log.Println(err)
return
}
defer FileHandle.Close()
lineReader := bufio.NewReader(FileHandle)
for {
// 相同使用場(chǎng)景下可以采用的方法
// func (b *Reader) ReadLine() (line []byte, isPrefix bool, err error)
// func (b *Reader) ReadBytes(delim byte) (line []byte, err error)
// func (b *Reader) ReadString(delim byte) (line string, err error)
line, _, err := lineReader.ReadLine()
if err == io.EOF {
break
}
// 如下是某些業(yè)務(wù)邏輯操作
// 如下代碼打印每次讀取的文件行內(nèi)容
fmt.Println(string(line))
}
fmt.Println("readEachLineReader spend : ", time.Now().Sub(start1))
}
func main(){
readEachLineReader(m11)
readEachLineReader(m400)
}
$ go run main.go readEachLineReader spend : 16.9902ms readEachLineReader spend : 537.9683ms
代碼示例2
package main
import (
"bufio"
"fmt"
"io"
"io/ioutil"
"log"
"os"
"time"
)
// 測(cè)試用的文本文件11M大小
var m11 string = `G:\runtime\log\ccapi\11M.log`
// 測(cè)試用的文本文件400M大小
var m400 string = `G:\runtime\log\ccapi\400M.log`
// 讀取文件的每一行
func readEachLineScanner(filePath string) {
start1 := time.Now()
FileHandle, err := os.Open(filePath)
if err != nil {
log.Println(err)
return
}
defer FileHandle.Close()
lineScanner := bufio.NewScanner(FileHandle)
for lineScanner.Scan() {
// 相同使用場(chǎng)景下可以使用如下方法
// func (s *Scanner) Bytes() []byte
// func (s *Scanner) Text() string
// 實(shí)際邏輯 : 對(duì)讀取的內(nèi)容進(jìn)行某些業(yè)務(wù)操作
// 如下代碼打印每次讀取的文件行內(nèi)容
fmt.Println(lineScanner.Text())
}
fmt.Println("readEachLineScanner spend : ", time.Now().Sub(start1))
}
func main() {
readEachLineScanner(m11)
readEachLineScanner(m400)
}
$ go run main.go readEachLineScanner spend : 17.9895ms readEachLineScanner spend : 574.1722ms
4. 總結(jié)
面試中常見的類似超大文件讀取的問題,通常我們采用分片讀取或者逐行讀取的方案即可
大文件的上傳也可以采用類似的解決方案 , 每次讀取文件的部分內(nèi)容上傳(寫入)網(wǎng)絡(luò)接口中,直至文件讀取完畢
普通的小文件并且對(duì)內(nèi)容沒有太多操作的,可以采用整體讀取,速度相對(duì)較快
對(duì)文件內(nèi)容有操作的采用分片讀取和逐行讀取更合適
二進(jìn)制類型文件采用分片讀取或者整體讀取的方案比較合適
文件讀取不僅是本地文件,要讀去網(wǎng)絡(luò)上的文件(各種文檔,音視頻,圖片,和其他各種類型文件)時(shí)要訪問到文件獲取 io.ReadCloser 或者 io.Reader 后可以采用三種方式將文件內(nèi)容讀取到
func ReadAll(r io.Reader) ([]byte, error) 文件完整讀取
func Copy(dst Writer, src Reader) (written int64, err error) 文件讀取并寫入
type Reader interface {
Read(p []byte) (n int, err error)
}
通過Reader 接口的 Read 方法讀取
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教。
相關(guān)文章
Golang?channel關(guān)閉后是否可以讀取剩余的數(shù)據(jù)詳解
這篇文章主要介紹了Golang?channel關(guān)閉后是否可以讀取剩余的數(shù)據(jù)，文章通過一個(gè)測(cè)試?yán)咏o大家詳細(xì)的介紹了是否可以讀取剩余的數(shù)據(jù),需要的朋友可以參考下2023-09-09
Go使用協(xié)程批量獲取數(shù)據(jù)加快接口返回速度
這篇文章主要介紹了Go使用協(xié)程批量獲取數(shù)據(jù)加快接口返回速度,使用Go語(yǔ)言后，可以并發(fā)獲取，極大提升效率，需要的朋友可以參考下2023-02-02
這篇文章介紹了Go語(yǔ)言中defer語(yǔ)句的用法，文中通過示例代碼介紹的非常詳細(xì)。對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2022-07-07
這篇文章主要介紹了Go各時(shí)間字符串使用解析，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-04-04
這篇文章主要介紹了Golang異?？刂铺幚沓绦蝈e(cuò)誤流程，Golang異常處理機(jī)制包括錯(cuò)誤處理、panic和defer，可控制程序錯(cuò)誤流程，保證程序穩(wěn)定性和安全性，是Golang編程的關(guān)鍵方式2023-04-04
詳解Go中如何進(jìn)行進(jìn)行內(nèi)存優(yōu)化和垃圾收集器管理
這篇文章主要為大家詳細(xì)介紹了Go中如何進(jìn)行進(jìn)行內(nèi)存優(yōu)化和垃圾收集器管理,文中的示例代碼講解詳細(xì),具有一定的學(xué)習(xí)價(jià)值,感興趣的小伙伴可以了解下2023-11-11
這篇文章主要為大家介紹了gRPC超時(shí)攔截器實(shí)現(xiàn)示例，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-06-06
這篇文章主要介紹了GoLang實(shí)現(xiàn)日志收集器流程，看日志是開發(fā)者平時(shí)排查BUG所必須的掌握的技能，但是日志冗雜，所以寫個(gè)小工具來收集這些日志幫助我們排查BUG，感興趣想要詳細(xì)了解可以參考下文2023-05-05
這篇文章主要給大家介紹了關(guān)于go語(yǔ)言中struct標(biāo)簽的相關(guān)資料,文中通過實(shí)例代碼介紹的非常詳細(xì),對(duì)大家學(xué)習(xí)或者使用go語(yǔ)言具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2023-07-07
這篇文章主要介紹了mayfly-go部署和使用詳解,此處部署基于CentOS7.4部署，結(jié)合實(shí)例代碼圖文給大家講解的非常詳細(xì)，需要的朋友可以參考下2022-09-09