欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

詳解golang中bufio包的實現(xiàn)原理

 更新時間:2018年01月10日 10:19:04   作者:liangwt  
這篇文章主要介紹了詳解golang中bufio包的實現(xiàn)原理,通過分析golang中bufio包的源碼,來了解為什么bufio能夠提高文件讀寫的效率和速度

最近用golang寫了一個處理文件的腳本,由于其中涉及到了文件讀寫,開始使用golang中的 io 包,后來發(fā)現(xiàn)golang 中提供了一個bufio的包,使用這個包可以大幅提高文件讀寫的效率,于是在網(wǎng)上搜索同樣的文件讀寫為什么bufio 要比io的讀寫更快速呢?根據(jù)網(wǎng)上的資料和閱讀源碼,以下來詳細(xì)解釋下bufio的高效如何實現(xiàn)的。

bufio 包介紹 

bufio包實現(xiàn)了有緩沖的I/O。它包裝一個io.Reader或io.Writer接口對象,創(chuàng)建另一個也實現(xiàn)了該接口,且同時還提供了緩沖和一些文本I/O的幫助函數(shù)的對象。

以上為官方包的介紹,在其中我們能了解到的信息如下:

bufio 是通過緩沖來提高效率

簡單的說就是,把文件讀取進(jìn)緩沖(內(nèi)存)之后再讀取的時候就可以避免文件系統(tǒng)的io 從而提高速度。同理,在進(jìn)行寫操作時,先把文件寫入緩沖(內(nèi)存),然后由緩沖寫入文件系統(tǒng)??赐暌陨辖忉層腥丝赡軙硎纠Щ罅耍苯影?內(nèi)容->文件 和 內(nèi)容->緩沖->文件相比, 緩沖區(qū)好像沒有起到作用嘛。其實緩沖區(qū)的設(shè)計是為了存儲多次的寫入,最后一口氣把緩沖區(qū)內(nèi)容寫入文件。下面會詳細(xì)解釋

bufio 封裝了io.Reader或io.Writer接口對象,并創(chuàng)建另一個也實現(xiàn)了該接口的對象

io.Reader或io.Writer 接口實現(xiàn)read() 和 write() 方法,對于實現(xiàn)這個接口的對象都是可以使用這兩個方法的

bufio 包實現(xiàn)原理

bufio 源碼分析

Reader對象

bufio.Reader 是bufio中對io.Reader 的封裝

// Reader implements buffering for an io.Reader object.
type Reader struct {
  buf     []byte
  rd      io.Reader // reader provided by the client
  r, w     int    // buf read and write positions
  err     error
  lastByte   int
  lastRuneSize int
}

bufio.Read(p []byte) 相當(dāng)于讀取大小len(p)的內(nèi)容,思路如下:

  1. 當(dāng)緩存區(qū)有內(nèi)容的時,將緩存區(qū)內(nèi)容全部填入p并清空緩存區(qū)
  2. 當(dāng)緩存區(qū)沒有內(nèi)容的時候且len(p)>len(buf),即要讀取的內(nèi)容比緩存區(qū)還要大,直接去文件讀取即可
  3. 當(dāng)緩存區(qū)沒有內(nèi)容的時候且len(p)<len(buf),即要讀取的內(nèi)容比緩存區(qū)小,緩存區(qū)從文件讀取內(nèi)容充滿緩存區(qū),并將p填滿(此時緩存區(qū)有剩余內(nèi)容)
  4. 以后再次讀取時緩存區(qū)有內(nèi)容,將緩存區(qū)內(nèi)容全部填入p并清空緩存區(qū)(此時和情況1一樣)

以下是源碼

// Read reads data into p.
// It returns the number of bytes read into p.
// The bytes are taken from at most one Read on the underlying Reader,
// hence n may be less than len(p).
// At EOF, the count will be zero and err will be io.EOF.
func (b *Reader) Read(p []byte) (n int, err error) {
  n = len(p)
  if n == 0 {
    return 0, b.readErr()
  }
  if b.r == b.w {
    if b.err != nil {
      return 0, b.readErr()
    }
    if len(p) >= len(b.buf) {
      // Large read, empty buffer.
      // Read directly into p to avoid copy.
      n, b.err = b.rd.Read(p)
      if n < 0 {
        panic(errNegativeRead)
      }
      if n > 0 {
        b.lastByte = int(p[n-1])
        b.lastRuneSize = -1
      }
      return n, b.readErr()
    }
    // One read.
    // Do not use b.fill, which will loop.
    b.r = 0
    b.w = 0
    n, b.err = b.rd.Read(b.buf)
    if n < 0 {
      panic(errNegativeRead)
    }
    if n == 0 {
      return 0, b.readErr()
    }
    b.w += n
  }

  // copy as much as we can
  n = copy(p, b.buf[b.r:b.w])
  b.r += n
  b.lastByte = int(b.buf[b.r-1])
  b.lastRuneSize = -1
  return n, nil
}

說明:

reader內(nèi)部通過維護一個r, w 即讀入和寫入的位置索引來判斷是否緩存區(qū)內(nèi)容被全部讀出

Writer對象

bufio.Writer 是bufio中對io.Writer 的封裝

// Writer implements buffering for an io.Writer object.
type Writer struct {
  err error
  buf []byte
  n  int
  wr io.Writer
}

bufio.Write(p []byte) 的思路如下

  1. 判斷buf中可用容量是否可以放下 p
  2. 如果能放下,直接把p拼接到buf后面,即把內(nèi)容放到緩沖區(qū)
  3. 如果緩沖區(qū)的可用容量不足以放下,且此時緩沖區(qū)是空的,直接把p寫入文件即可
  4. 如果緩沖區(qū)的可用容量不足以放下,且此時緩沖區(qū)有內(nèi)容,則用p把緩沖區(qū)填滿,把緩沖區(qū)所有內(nèi)容寫入文件,并清空緩沖區(qū)
  5. 判斷p的剩余內(nèi)容大小能否放到緩沖區(qū),如果能放下(此時和步驟1情況一樣)則把內(nèi)容放到緩沖區(qū)
  6. 如果p的剩余內(nèi)容依舊大于緩沖區(qū),(注意此時緩沖區(qū)是空的,情況和步驟2一樣)則把p的剩余內(nèi)容直接寫入文件

以下是源碼

// Write writes the contents of p into the buffer.
// It returns the number of bytes written.
// If nn < len(p), it also returns an error explaining
// why the write is short.
func (b *Writer) Write(p []byte) (nn int, err error) {
  for len(p) > b.Available() && b.err == nil {
    var n int
    if b.Buffered() == 0 {
      // Large write, empty buffer.
      // Write directly from p to avoid copy.
      n, b.err = b.wr.Write(p)
    } else {
      n = copy(b.buf[b.n:], p)
      b.n += n
      b.flush()
    }
    nn += n
    p = p[n:]
  }
  if b.err != nil {
    return nn, b.err
  }
  n := copy(b.buf[b.n:], p)
  b.n += n
  nn += n
  return nn, nil
}

說明:

b.wr 存儲的是一個io.writer對象,實現(xiàn)了Write()的接口,所以可以使用b.wr.Write(p) 將p的內(nèi)容寫入文件

b.flush() 會將緩存區(qū)內(nèi)容寫入文件,當(dāng)所有寫入完成后,因為緩存區(qū)會存儲內(nèi)容,所以需要手動flush()到文件

b.Available() 為buf可用容量,等于len(buf) - n

下圖解釋的是其中一種情況,即緩存區(qū)有內(nèi)容,剩余p大于緩存區(qū)

以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。

相關(guān)文章

  • Golang實現(xiàn)程序優(yōu)雅退出的方法詳解

    Golang實現(xiàn)程序優(yōu)雅退出的方法詳解

    項目開發(fā)過程中,隨著需求的迭代,代碼的發(fā)布會頻繁進(jìn)行,在發(fā)布過程中,Golang如何讓程序做到優(yōu)雅的退出?本文就來詳細(xì)為大家講講
    2022-06-06
  • Golang文件讀寫操作詳情

    Golang文件讀寫操作詳情

    這篇文章主要介紹了Golang文件讀寫操作詳情,文件是數(shù)據(jù)源(保存數(shù)據(jù)的地方)的一種,文件最主要的作用就是保存數(shù)據(jù),文件在程序中是以流的形式來操作的,更多詳細(xì)內(nèi)容需要的朋友可以參考一下
    2022-07-07
  • go實現(xiàn)反轉(zhuǎn)鏈表

    go實現(xiàn)反轉(zhuǎn)鏈表

    這篇文章主要介紹了go實現(xiàn)反轉(zhuǎn)鏈表的操作,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2021-04-04
  • Golang利用channel協(xié)調(diào)協(xié)程的方法詳解

    Golang利用channel協(xié)調(diào)協(xié)程的方法詳解

    go?當(dāng)中的并發(fā)編程是通過goroutine來實現(xiàn)的,利用channel(管道)可以在協(xié)程之間傳遞數(shù)據(jù),所以本文就來講講Golang如何利用channel協(xié)調(diào)協(xié)程吧
    2023-05-05
  • Golang判斷struct/slice/map是否相等以及對比的方法總結(jié)

    Golang判斷struct/slice/map是否相等以及對比的方法總結(jié)

    平時開發(fā)中對比兩個struct或者map、slice是否相等是經(jīng)常遇到的,有很多對比的方式,比如==,reflect.DeepEqual(),cmp.Equal()等也是經(jīng)常容易混淆的,這么多種對比方式,適用場景和優(yōu)缺點都有哪些呢?今天我們來具體總結(jié)一下,感興趣的小伙伴們可以參考借鑒
    2022-11-11
  • golang如何使用struct的tag屬性的詳細(xì)介紹

    golang如何使用struct的tag屬性的詳細(xì)介紹

    這篇文章主要介紹了golang如何使用struct的tag屬性的詳細(xì)介紹,從例子說起,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2018-11-11
  • Go|使用Options模式和建造者模式創(chuàng)建對象實戰(zhàn)

    Go|使用Options模式和建造者模式創(chuàng)建對象實戰(zhàn)

    這篇文章主要介紹了Go使用Options模式和建造者模式創(chuàng)建對象實戰(zhàn)詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2023-04-04
  • go語言題解LeetCode228匯總區(qū)間示例詳解

    go語言題解LeetCode228匯總區(qū)間示例詳解

    這篇文章主要為大家介紹了go語言題解LeetCode228匯總區(qū)間示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2022-12-12
  • golang goquery selector選擇器使用示例大全

    golang goquery selector選擇器使用示例大全

    這篇文章主要為大家介紹了golang goquery selector選擇器使用示例大全,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2022-09-09
  • 深度解密 Go 語言中的 sync.map

    深度解密 Go 語言中的 sync.map

    這篇文章主要介紹了深度解密 Go 語言中的 sync.map,本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2020-06-06

最新評論