欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

golang字符串本質(zhì)與原理詳解

 更新時(shí)間:2022年06月29日 10:24:21   作者:? ysj?  ?  
這篇文章主要介紹了golang字符串本質(zhì)與原理詳解,golang中的字符串指的是所有8比特位字節(jié)字符串的集合,通常是UTF-8編碼的文本,更多相關(guān)內(nèi)容需要的小伙伴可以參考一下

一、字符串的本質(zhì)

1.字符串的定義

golang中的字符(character)串指的是所有8比特位字節(jié)字符串的集合,通常(非必須)是UTF-8 編碼的文本。 字符串可以為空,但不能是nil。 字符串在編譯時(shí)即確定了長(zhǎng)度,值是不可變的。

// go/src/builtin/builtin.go
// string is the set of all strings of 8-bit bytes, conventionally but not
// necessarily representing UTF-8-encoded text. A string may be empty, but
// not nil. Values of string type are immutable.
type string string

字符串在本質(zhì)上是一串字符數(shù)組,每個(gè)字符在存儲(chǔ)時(shí)都對(duì)應(yīng)了一個(gè)或多個(gè)整數(shù),整數(shù)是多少取決于字符集的編碼方式。

s := "golang"
for i := 0; i < len(s); i++ {
  fmt.Printf("s[%v]: %v\n",i, s[i])
}
// s[0]: 103
// s[1]: 111
// s[2]: 108
// s[3]: 97
// s[4]: 110
// s[5]: 103

字符串在編譯時(shí)類(lèi)型為string,在運(yùn)行時(shí)其類(lèi)型定義為一個(gè)結(jié)構(gòu)體,位于reflect包中:

// go/src/reflect/value.go
// StringHeader is the runtime representation of a string.
// ...
type StringHeader struct {
    Data uintptr
    Len  int
}

根據(jù)運(yùn)行時(shí)字符串的定義可知,在程序運(yùn)行的過(guò)程中,字符串存儲(chǔ)了長(zhǎng)度(Len)及指向?qū)嶋H數(shù)據(jù)的指針(Data)。

2.字符串的長(zhǎng)度

golang中所有文件都采用utf8編碼,字符常量也使用utf8編碼字符集。1個(gè)英文字母占1個(gè)字節(jié)長(zhǎng)度,一個(gè)中文占3個(gè)字節(jié)長(zhǎng)度。go中對(duì)字符串取長(zhǎng)度len(s)指的是字節(jié)長(zhǎng)度,而不是字符個(gè)數(shù),這與動(dòng)態(tài)語(yǔ)言如python中的表現(xiàn)有所差別。如:

print(len("go語(yǔ)言")) 
# 4
s := "go語(yǔ)言"
fmt.Printf("len(s): %v\n", len(s)) 
// len(s): 8

3.字符與符文

go中存在一個(gè)特殊類(lèi)型——符文類(lèi)型(rune),用來(lái)表示和區(qū)分字符串中的字符。rune的本質(zhì)是int32。字符串符文的個(gè)數(shù)往往才比較符合我們直觀感受上的字符串長(zhǎng)度。要計(jì)算字符串符文長(zhǎng)度,可以先將字符串轉(zhuǎn)為[]rune類(lèi)型,或者利用標(biāo)準(zhǔn)庫(kù)中的utf8.RuneCountInString()函數(shù)。

s := "go語(yǔ)言"
fmt.Println(len([]rune(s)))
// 4
count := utf8.RuneCountInString(s)
fmt.Println(count)
// 4

當(dāng)用range遍歷字符串時(shí),遍歷的就不再是單字節(jié),而是單個(gè)符文rune。

s := "go語(yǔ)言"
for _, r := range s {
    fmt.Printf("rune: %v  string: %#U\n", r, r)
}
// rune: 103  unicode: U+0067 'g'
// rune: 111  unicode: U+006F 'o'
// rune: 35821  unicode: U+8BED '語(yǔ)'
// rune: 35328  unicode: U+8A00 '言'

二、字符串的原理

1.字符串的解析

golang在詞法解析階段,通過(guò)掃描源代碼,將雙引號(hào)和反引號(hào)開(kāi)頭的內(nèi)容分別識(shí)別為標(biāo)準(zhǔn)字符串和原始字符串:

// go/src/cmd/compile/internal/syntax/scanner.go
func (s *scanner) next() {
    ...
    switch s.ch {
    ...
    case '"':
        s.stdString()

    case '`':
        s.rawString()
  ...

然后,不斷的掃描下一個(gè)字符,直到遇到另一個(gè)雙引號(hào)和反引號(hào)即結(jié)束掃描。并通過(guò)string(s.segment())將解析到的字節(jié)轉(zhuǎn)換為字符串,同時(shí)通過(guò)setLlit()方法將掃描到的內(nèi)容類(lèi)型(kind)標(biāo)記為StringLit。

func (s *scanner) stdString() {
    ok := true
    s.nextch()

    for {
        if s.ch == '"' {
            s.nextch()
            break
        }
        ...
        s.nextch()
    }

    s.setLit(StringLit, ok)
}
func (s *scanner) rawString() {
    ok := true
    s.nextch()

    for {
        if s.ch == '`' {
            s.nextch()
            break
        }
        ...
        s.nextch()
    }
  
    s.setLit(StringLit, ok)
}
// setLit sets the scanner state for a recognized _Literal token.
func (s *scanner) setLit(kind LitKind, ok bool) {
    s.nlsemi = true
    s.tok = _Literal
    s.lit = string(s.segment())
    s.bad = !ok
    s.kind = kind
}

2.字符串的拼接

字符串可以通過(guò)+進(jìn)行拼接:

s := "go" + "lang"

在編譯階段構(gòu)建抽象語(yǔ)法樹(shù)時(shí),等號(hào)右邊的"go"+"lang"會(huì)被解析為一個(gè)字符串相加的表達(dá)式(AddStringExpr)節(jié)點(diǎn),該表達(dá)式的操作opOADDSTR。相加的各部分字符串被解析為節(jié)點(diǎn)Node列表,并賦給表達(dá)式的List字段:

// go/src/cmd/compile/internal/ir/expr.go
// An AddStringExpr is a string concatenation Expr[0] + Exprs[1] + ... + Expr[len(Expr)-1].
type AddStringExpr struct {
    miniExpr
    List     Nodes
    Prealloc *Name
}
func NewAddStringExpr(pos src.XPos, list []Node) *AddStringExpr {
    n := &AddStringExpr{}
    n.pos = pos
    n.op = OADDSTR
    n.List = list
    return n
}

在構(gòu)建抽象語(yǔ)法樹(shù)時(shí),會(huì)遍歷整個(gè)語(yǔ)法樹(shù)的表達(dá)式,在遍歷的過(guò)程中,識(shí)別到操作Op的類(lèi)型為OADDSTR,則會(huì)調(diào)用walkAddString對(duì)字符串加法表達(dá)式進(jìn)行進(jìn)一步處理:

// go/src/cmd/compile/internal/walk/expr.go
func walkExpr(n ir.Node, init *ir.Nodes) ir.Node {
    ...
    n = walkExpr1(n, init)
    ...
    return n
}
func walkExpr1(n ir.Node, init *ir.Nodes) ir.Node {
    switch n.Op() {
    ...
    case ir.OADDSTR:
        return walkAddString(n.(*ir.AddStringExpr), init)
    ...
    }
    ...
}

walkAddString首先計(jì)算相加的字符串的個(gè)數(shù)c,如果相加的字符串個(gè)數(shù)小于2,則會(huì)報(bào)錯(cuò)。接下來(lái)會(huì)對(duì)相加的字符串字節(jié)長(zhǎng)度求和,如果字符串總字節(jié)長(zhǎng)度小于32,則會(huì)通過(guò)stackBufAddr()在??臻g開(kāi)辟一塊32字節(jié)的緩存空間。否則會(huì)在堆區(qū)開(kāi)辟一個(gè)足夠大的內(nèi)存空間,用于存儲(chǔ)多個(gè)字符串。

// go/src/cmd/compile/internal/walk/walk.go
const tmpstringbufsize = 32
// go/src/cmd/compile/internal/walk/expr.go
func walkAddString(n *ir.AddStringExpr, init *ir.Nodes) ir.Node {
    c := len(n.List)
    if c < 2 {
            base.Fatalf("walkAddString count %d too small", c)
    }
    buf := typecheck.NodNil()
    if n.Esc() == ir.EscNone {
        sz := int64(0)
        for _, n1 := range n.List {
            if n1.Op() == ir.OLITERAL {
                sz += int64(len(ir.StringVal(n1)))
            }
        }
        // Don't allocate the buffer if the result won't fit.
        if sz < tmpstringbufsize {
            // Create temporary buffer for result string on stack.
            buf = stackBufAddr(tmpstringbufsize, types.Types[types.TUINT8])
            }
	}
	// build list of string arguments
	args := []ir.Node{buf}
	for _, n2 := range n.List {
            args = append(args, typecheck.Conv(n2, types.Types[types.TSTRING]))
	}
	var fn string
	if c <= 5 {
            // small numbers of strings use direct runtime helpers.
            // note: order.expr knows this cutoff too.
            fn = fmt.Sprintf("concatstring%d", c)
	} else {
            // large numbers of strings are passed to the runtime as a slice.
            fn = "concatstrings"

            t := types.NewSlice(types.Types[types.TSTRING])
            // args[1:] to skip buf arg
            slice := ir.NewCompLitExpr(base.Pos, ir.OCOMPLIT, t, args[1:])
            slice.Prealloc = n.Prealloc
            args = []ir.Node{buf, slice}
            slice.SetEsc(ir.EscNone)
	}

	cat := typecheck.LookupRuntime(fn)
	r := ir.NewCallExpr(base.Pos, ir.OCALL, cat, nil)
	r.Args = args
	r1 := typecheck.Expr(r)
	r1 = walkExpr(r1, init)
	r1.SetType(n.Type())
	return r1
}

如果用于相加的字符串個(gè)數(shù)小于等于5個(gè),則會(huì)調(diào)用運(yùn)行時(shí)的字符串拼接concatstring1-concatstring5函數(shù)。否則調(diào)用運(yùn)行時(shí)的concatstrings函數(shù),并將字符串通過(guò)切片slice的形式傳入。類(lèi)型檢查中的typecheck.LookupRuntime(fn)方法查找到運(yùn)行時(shí)的字符串拼接函數(shù)后,將其構(gòu)建為一個(gè)調(diào)用表達(dá)式,操作OpOCALL,最后遍歷調(diào)用表達(dá)式完成調(diào)用。concatstring1-concatstring5中的每一個(gè)調(diào)用最終都會(huì)調(diào)用concatstrings函數(shù)。

// go/src/runtime/string.go
const tmpStringBufSize = 32
type tmpBuf [tmpStringBufSize]byte
func concatstring2(buf *tmpBuf, a0, a1 string) string {
    return concatstrings(buf, []string{a0, a1})
}
func concatstring3(buf *tmpBuf, a0, a1, a2 string) string {
    return concatstrings(buf, []string{a0, a1, a2})
}
func concatstring4(buf *tmpBuf, a0, a1, a2, a3 string) string {
    return concatstrings(buf, []string{a0, a1, a2, a3})
}
func concatstring5(buf *tmpBuf, a0, a1, a2, a3, a4 string) string {
    return concatstrings(buf, []string{a0, a1, a2, a3, a4})
}

concatstring1-concatstring5已經(jīng)存在一個(gè)32字節(jié)的臨時(shí)緩存空間供其使用, 并通過(guò)slicebytetostringtmp函數(shù)將該緩存空間的首地址作為字符串的地址,字節(jié)長(zhǎng)度作為字符串的長(zhǎng)度。如果待拼接字符串的長(zhǎng)度大于32字節(jié),則會(huì)調(diào)用rawstring函數(shù),該函數(shù)會(huì)在堆區(qū)為字符串分配存儲(chǔ)空間, 并且將該存儲(chǔ)空間的地址指向字符串。由此可以看出,字符串的底層是字節(jié)切片,且指向同一片內(nèi)存區(qū)域。在分配好存儲(chǔ)空間、完成指針指向等工作后,待拼接的字符串切片會(huì)被一個(gè)一個(gè)地通過(guò)內(nèi)存拷貝copy(b,x)到分配好的存儲(chǔ)空間b上。

// concatstrings implements a Go string concatenation x+y+z+...
func concatstrings(buf *tmpBuf, a []string) string {
    ...
    l := 0

    for i, x := range a {
        ...
        n := len(x)
        ...
        l += n
        ...
    }
    s, b := rawstringtmp(buf, l)
    for _, x := range a {
        copy(b, x)
        b = b[len(x):]
    }
    return s
}
func rawstringtmp(buf *tmpBuf, l int) (s string, b []byte) {
    if buf != nil && l <= len(buf) {
        b = buf[:l]
        s = slicebytetostringtmp(&b[0], len(b))
    } else {
        s, b = rawstring(l)
    }
    return
}

func slicebytetostringtmp(ptr *byte, n int) (str string) {
    ...
    stringStructOf(&str).str = unsafe.Pointer(ptr)
    stringStructOf(&str).len = n
    return
}
// rawstring allocates storage for a new string. The returned
// string and byte slice both refer to the same storage.
func rawstring(size int) (s string, b []byte) {
    p := mallocgc(uintptr(size), nil, false)

    stringStructOf(&s).str = p
    stringStructOf(&s).len = size

    *(*slice)(unsafe.Pointer(&b)) = slice{p, size, size}

    return
}

type stringStruct struct {
    str unsafe.Pointer
    len int
}
func stringStructOf(sp *string) *stringStruct {
    return (*stringStruct)(unsafe.Pointer(sp))
}

3.字符串的轉(zhuǎn)換

盡管字符串的底層是字節(jié)數(shù)組, 但字節(jié)數(shù)組與字符串的相互轉(zhuǎn)換并不是簡(jiǎn)單的指針引用,而是涉及了內(nèi)存復(fù)制。當(dāng)字符串大于32字節(jié)時(shí),還需要申請(qǐng)堆內(nèi)存。

s := "go語(yǔ)言"
b := []byte(s) // stringtoslicebyte
ss := string(b) // slicebytetostring

當(dāng)字符串轉(zhuǎn)換為字節(jié)切片時(shí),需要調(diào)用stringtoslicebyte函數(shù),當(dāng)字符串小于32字節(jié)時(shí),可以直接使用緩存buf,但是當(dāng)字節(jié)長(zhǎng)度大于等于32時(shí),rawbyteslice函數(shù)需要向堆區(qū)申請(qǐng)足夠的內(nèi)存空間,然后通過(guò)內(nèi)存復(fù)制將字符串拷貝到目標(biāo)地址。

// go/src/runtime/string.go
func stringtoslicebyte(buf *tmpBuf, s string) []byte {
    var b []byte
    if buf != nil && len(s) <= len(buf) {
        *buf = tmpBuf{}
        b = buf[:len(s)]
    } else {
        b = rawbyteslice(len(s))
    }
    copy(b, s)
    return b
}
func rawbyteslice(size int) (b []byte) {
    cap := roundupsize(uintptr(size))
    p := mallocgc(cap, nil, false)
    if cap != uintptr(size) {
        memclrNoHeapPointers(add(p, uintptr(size)), cap-uintptr(size))
    }

    *(*slice)(unsafe.Pointer(&b)) = slice{p, size, int(cap)}
    return
}
func slicebytetostring(buf *tmpBuf, ptr *byte, n int) (str string) {
    ...
    var p unsafe.Pointer
    if buf != nil && n <= len(buf) {
        p = unsafe.Pointer(buf)
    } else {
        p = mallocgc(uintptr(n), nil, false)
    }
    stringStructOf(&str).str = p
    stringStructOf(&str).len = n
    memmove(p, unsafe.Pointer(ptr), uintptr(n))
    return
}

字節(jié)切片轉(zhuǎn)換為字符串時(shí),原理同上。因此字符串和切片的轉(zhuǎn)換涉及內(nèi)存拷貝,在一些密集轉(zhuǎn)換的場(chǎng)景中,需要評(píng)估轉(zhuǎn)換帶來(lái)的性能損耗。

總結(jié)

  • 字符串常量存儲(chǔ)在靜態(tài)存儲(chǔ)區(qū),其內(nèi)容不可以被改變。
  • 字符串的本質(zhì)是字符數(shù)組,底層是字節(jié)數(shù)組,且與字符串指向同一個(gè)內(nèi)存地址。
  • 字符串的長(zhǎng)度是字節(jié)長(zhǎng)度,要獲取直觀長(zhǎng)度,需要先轉(zhuǎn)換為符文數(shù)組,或者通過(guò)utf8標(biāo)準(zhǔn)庫(kù)的方法進(jìn)行處理。
  • 字符串通過(guò)掃描源代碼的雙引號(hào)和反引號(hào)進(jìn)行解析。
  • 字符串常量的拼接發(fā)生在編譯時(shí),且根據(jù)拼接字符串的個(gè)數(shù)調(diào)用了對(duì)應(yīng)的運(yùn)行時(shí)拼接函數(shù)。
  • 字符串變量的拼接發(fā)生在運(yùn)行時(shí)。
  • 無(wú)論是字符串的拼接還是轉(zhuǎn)換,當(dāng)字符串長(zhǎng)度小于32字節(jié)時(shí),可以直接使用棧區(qū)32字節(jié)的緩存,反之,需要向堆區(qū)申請(qǐng)足夠的存儲(chǔ)空間。
  • 字符串與字節(jié)數(shù)組的相互轉(zhuǎn)換并不是無(wú)損的指針引用,涉及到了內(nèi)存復(fù)制。在轉(zhuǎn)換密集的場(chǎng)景需要考慮轉(zhuǎn)換的性能和空間損耗。

到此這篇關(guān)于golang字符串本質(zhì)與原理詳解的文章就介紹到這了,更多相關(guān)golang字符串 內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • 解決 Golang VS Code 插件下載安裝失敗的問(wèn)題

    解決 Golang VS Code 插件下載安裝失敗的問(wèn)題

    這篇文章主要介紹了解決 Golang VS Code 插件下載安裝失敗,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2020-05-05
  • Golang 性能基準(zhǔn)測(cè)試(benchmark)詳解

    Golang 性能基準(zhǔn)測(cè)試(benchmark)詳解

    Golang性能基準(zhǔn)測(cè)試可以幫助開(kāi)發(fā)人員比較不同的實(shí)現(xiàn)方式對(duì)性能的影響,以便優(yōu)化程序,本文就來(lái)講解一下如何使用Golang的性能基準(zhǔn)測(cè)試功能,需要的朋友可以參考下
    2023-06-06
  • golang如何讓string轉(zhuǎn)int64

    golang如何讓string轉(zhuǎn)int64

    這篇文章主要介紹了golang如何讓string轉(zhuǎn)int64問(wèn)題,
    2024-02-02
  • Go常用技能日志log包創(chuàng)建使用示例

    Go常用技能日志log包創(chuàng)建使用示例

    這篇文章主要為大家介紹了Go常用技能日志log包創(chuàng)建使用示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2022-08-08
  • 解決vscode中g(shù)olang插件依賴(lài)安裝失敗問(wèn)題

    解決vscode中g(shù)olang插件依賴(lài)安裝失敗問(wèn)題

    這篇文章主要介紹了解決vscode中g(shù)olang插件依賴(lài)安裝失敗問(wèn)題,本文給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2019-08-08
  • 使用Gorm操作Oracle數(shù)據(jù)庫(kù)踩坑記錄

    使用Gorm操作Oracle數(shù)據(jù)庫(kù)踩坑記錄

    gorm是目前用得最多的go語(yǔ)言orm庫(kù),本文主要介紹了使用Gorm操作Oracle數(shù)據(jù)庫(kù)踩坑記錄,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2022-06-06
  • VScode下配置Go語(yǔ)言開(kāi)發(fā)環(huán)境(2023最新)

    VScode下配置Go語(yǔ)言開(kāi)發(fā)環(huán)境(2023最新)

    在VSCode中配置Golang開(kāi)發(fā)環(huán)境是非常簡(jiǎn)單的,本文主要記錄了Go的安裝,以及給vscode配置Go的環(huán)境,具有一定的參考價(jià)值,感興趣的可以了解一下
    2023-10-10
  • 基于Go語(yǔ)言實(shí)現(xiàn)冒泡排序算法

    基于Go語(yǔ)言實(shí)現(xiàn)冒泡排序算法

    冒泡排序是交換排序中最簡(jiǎn)單的一種算法。這篇文章將利用Go語(yǔ)言實(shí)現(xiàn)冒泡排序算法,文中的示例代碼講解詳細(xì),對(duì)學(xué)習(xí)Go語(yǔ)言有一定的幫助,需要的可以參考一下
    2022-12-12
  • go語(yǔ)言基礎(chǔ) seek光標(biāo)位置os包的使用

    go語(yǔ)言基礎(chǔ) seek光標(biāo)位置os包的使用

    這篇文章主要介紹了go語(yǔ)言基礎(chǔ) seek光標(biāo)位置os包的使用詳解,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2021-05-05
  • golang中為什么Response.Body需要被關(guān)閉詳解

    golang中為什么Response.Body需要被關(guān)閉詳解

    這篇文章主要給大家介紹了關(guān)于golang中為什么Response.Body需要被關(guān)閉的相關(guān)資料,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2018-08-08

最新評(píng)論