golang字符串本質(zhì)與原理詳解
一、字符串的本質(zhì)
1.字符串的定義
golang
中的字符(character
)串指的是所有8比特位字節(jié)字符串的集合,通常(非必須)是UTF-8
編碼的文本。 字符串可以為空,但不能是nil
。 字符串在編譯時(shí)即確定了長(zhǎng)度,值是不可變的。
// go/src/builtin/builtin.go // string is the set of all strings of 8-bit bytes, conventionally but not // necessarily representing UTF-8-encoded text. A string may be empty, but // not nil. Values of string type are immutable. type string string
字符串在本質(zhì)上是一串字符數(shù)組,每個(gè)字符在存儲(chǔ)時(shí)都對(duì)應(yīng)了一個(gè)或多個(gè)整數(shù),整數(shù)是多少取決于字符集的編碼方式。
s := "golang" for i := 0; i < len(s); i++ { fmt.Printf("s[%v]: %v\n",i, s[i]) } // s[0]: 103 // s[1]: 111 // s[2]: 108 // s[3]: 97 // s[4]: 110 // s[5]: 103
字符串在編譯時(shí)類(lèi)型為string
,在運(yùn)行時(shí)其類(lèi)型定義為一個(gè)結(jié)構(gòu)體,位于reflect
包中:
// go/src/reflect/value.go // StringHeader is the runtime representation of a string. // ... type StringHeader struct { Data uintptr Len int }
根據(jù)運(yùn)行時(shí)字符串的定義可知,在程序運(yùn)行的過(guò)程中,字符串存儲(chǔ)了長(zhǎng)度(Len
)及指向?qū)嶋H數(shù)據(jù)的指針(Data
)。
2.字符串的長(zhǎng)度
golang
中所有文件都采用utf8
編碼,字符常量也使用utf8
編碼字符集。1個(gè)英文字母占1個(gè)字節(jié)長(zhǎng)度,一個(gè)中文占3個(gè)字節(jié)長(zhǎng)度。go中對(duì)字符串取長(zhǎng)度len(s)
指的是字節(jié)長(zhǎng)度,而不是字符個(gè)數(shù),這與動(dòng)態(tài)語(yǔ)言如python
中的表現(xiàn)有所差別。如:
print(len("go語(yǔ)言")) # 4
s := "go語(yǔ)言" fmt.Printf("len(s): %v\n", len(s)) // len(s): 8
3.字符與符文
go
中存在一個(gè)特殊類(lèi)型——符文類(lèi)型(rune
),用來(lái)表示和區(qū)分字符串中的字符。rune
的本質(zhì)是int32
。字符串符文的個(gè)數(shù)往往才比較符合我們直觀感受上的字符串長(zhǎng)度。要計(jì)算字符串符文長(zhǎng)度,可以先將字符串轉(zhuǎn)為[]rune
類(lèi)型,或者利用標(biāo)準(zhǔn)庫(kù)中的utf8.RuneCountInString()
函數(shù)。
s := "go語(yǔ)言" fmt.Println(len([]rune(s))) // 4 count := utf8.RuneCountInString(s) fmt.Println(count) // 4
當(dāng)用range
遍歷字符串時(shí),遍歷的就不再是單字節(jié),而是單個(gè)符文rune
。
s := "go語(yǔ)言" for _, r := range s { fmt.Printf("rune: %v string: %#U\n", r, r) } // rune: 103 unicode: U+0067 'g' // rune: 111 unicode: U+006F 'o' // rune: 35821 unicode: U+8BED '語(yǔ)' // rune: 35328 unicode: U+8A00 '言'
二、字符串的原理
1.字符串的解析
golang
在詞法解析階段,通過(guò)掃描源代碼,將雙引號(hào)和反引號(hào)開(kāi)頭的內(nèi)容分別識(shí)別為標(biāo)準(zhǔn)字符串和原始字符串:
// go/src/cmd/compile/internal/syntax/scanner.go func (s *scanner) next() { ... switch s.ch { ... case '"': s.stdString() case '`': s.rawString() ...
然后,不斷的掃描下一個(gè)字符,直到遇到另一個(gè)雙引號(hào)和反引號(hào)即結(jié)束掃描。并通過(guò)string(s.segment())
將解析到的字節(jié)轉(zhuǎn)換為字符串,同時(shí)通過(guò)setLlit()
方法將掃描到的內(nèi)容類(lèi)型(kind
)標(biāo)記為StringLit
。
func (s *scanner) stdString() { ok := true s.nextch() for { if s.ch == '"' { s.nextch() break } ... s.nextch() } s.setLit(StringLit, ok) } func (s *scanner) rawString() { ok := true s.nextch() for { if s.ch == '`' { s.nextch() break } ... s.nextch() } s.setLit(StringLit, ok) } // setLit sets the scanner state for a recognized _Literal token. func (s *scanner) setLit(kind LitKind, ok bool) { s.nlsemi = true s.tok = _Literal s.lit = string(s.segment()) s.bad = !ok s.kind = kind }
2.字符串的拼接
字符串可以通過(guò)+進(jìn)行拼接:
s := "go" + "lang"
在編譯階段構(gòu)建抽象語(yǔ)法樹(shù)時(shí),等號(hào)右邊的"go"+"lang"
會(huì)被解析為一個(gè)字符串相加的表達(dá)式(AddStringExpr
)節(jié)點(diǎn),該表達(dá)式的操作op
為OADDSTR
。相加的各部分字符串被解析為節(jié)點(diǎn)Node
列表,并賦給表達(dá)式的List
字段:
// go/src/cmd/compile/internal/ir/expr.go // An AddStringExpr is a string concatenation Expr[0] + Exprs[1] + ... + Expr[len(Expr)-1]. type AddStringExpr struct { miniExpr List Nodes Prealloc *Name } func NewAddStringExpr(pos src.XPos, list []Node) *AddStringExpr { n := &AddStringExpr{} n.pos = pos n.op = OADDSTR n.List = list return n }
在構(gòu)建抽象語(yǔ)法樹(shù)時(shí),會(huì)遍歷整個(gè)語(yǔ)法樹(shù)的表達(dá)式,在遍歷的過(guò)程中,識(shí)別到操作Op
的類(lèi)型為OADDSTR
,則會(huì)調(diào)用walkAddString
對(duì)字符串加法表達(dá)式進(jìn)行進(jìn)一步處理:
// go/src/cmd/compile/internal/walk/expr.go func walkExpr(n ir.Node, init *ir.Nodes) ir.Node { ... n = walkExpr1(n, init) ... return n } func walkExpr1(n ir.Node, init *ir.Nodes) ir.Node { switch n.Op() { ... case ir.OADDSTR: return walkAddString(n.(*ir.AddStringExpr), init) ... } ... }
walkAddString
首先計(jì)算相加的字符串的個(gè)數(shù)c
,如果相加的字符串個(gè)數(shù)小于2,則會(huì)報(bào)錯(cuò)。接下來(lái)會(huì)對(duì)相加的字符串字節(jié)長(zhǎng)度求和,如果字符串總字節(jié)長(zhǎng)度小于32,則會(huì)通過(guò)stackBufAddr()
在??臻g開(kāi)辟一塊32字節(jié)的緩存空間。否則會(huì)在堆區(qū)開(kāi)辟一個(gè)足夠大的內(nèi)存空間,用于存儲(chǔ)多個(gè)字符串。
// go/src/cmd/compile/internal/walk/walk.go const tmpstringbufsize = 32 // go/src/cmd/compile/internal/walk/expr.go func walkAddString(n *ir.AddStringExpr, init *ir.Nodes) ir.Node { c := len(n.List) if c < 2 { base.Fatalf("walkAddString count %d too small", c) } buf := typecheck.NodNil() if n.Esc() == ir.EscNone { sz := int64(0) for _, n1 := range n.List { if n1.Op() == ir.OLITERAL { sz += int64(len(ir.StringVal(n1))) } } // Don't allocate the buffer if the result won't fit. if sz < tmpstringbufsize { // Create temporary buffer for result string on stack. buf = stackBufAddr(tmpstringbufsize, types.Types[types.TUINT8]) } } // build list of string arguments args := []ir.Node{buf} for _, n2 := range n.List { args = append(args, typecheck.Conv(n2, types.Types[types.TSTRING])) } var fn string if c <= 5 { // small numbers of strings use direct runtime helpers. // note: order.expr knows this cutoff too. fn = fmt.Sprintf("concatstring%d", c) } else { // large numbers of strings are passed to the runtime as a slice. fn = "concatstrings" t := types.NewSlice(types.Types[types.TSTRING]) // args[1:] to skip buf arg slice := ir.NewCompLitExpr(base.Pos, ir.OCOMPLIT, t, args[1:]) slice.Prealloc = n.Prealloc args = []ir.Node{buf, slice} slice.SetEsc(ir.EscNone) } cat := typecheck.LookupRuntime(fn) r := ir.NewCallExpr(base.Pos, ir.OCALL, cat, nil) r.Args = args r1 := typecheck.Expr(r) r1 = walkExpr(r1, init) r1.SetType(n.Type()) return r1 }
如果用于相加的字符串個(gè)數(shù)小于等于5個(gè),則會(huì)調(diào)用運(yùn)行時(shí)的字符串拼接concatstring1-concatstring5
函數(shù)。否則調(diào)用運(yùn)行時(shí)的concatstrings
函數(shù),并將字符串通過(guò)切片slice
的形式傳入。類(lèi)型檢查中的typecheck.LookupRuntime(fn)
方法查找到運(yùn)行時(shí)的字符串拼接函數(shù)后,將其構(gòu)建為一個(gè)調(diào)用表達(dá)式,操作Op
為OCALL
,最后遍歷調(diào)用表達(dá)式完成調(diào)用。concatstring1-concatstring5
中的每一個(gè)調(diào)用最終都會(huì)調(diào)用concatstrings
函數(shù)。
// go/src/runtime/string.go const tmpStringBufSize = 32 type tmpBuf [tmpStringBufSize]byte func concatstring2(buf *tmpBuf, a0, a1 string) string { return concatstrings(buf, []string{a0, a1}) } func concatstring3(buf *tmpBuf, a0, a1, a2 string) string { return concatstrings(buf, []string{a0, a1, a2}) } func concatstring4(buf *tmpBuf, a0, a1, a2, a3 string) string { return concatstrings(buf, []string{a0, a1, a2, a3}) } func concatstring5(buf *tmpBuf, a0, a1, a2, a3, a4 string) string { return concatstrings(buf, []string{a0, a1, a2, a3, a4}) }
concatstring1-concatstring5
已經(jīng)存在一個(gè)32字節(jié)的臨時(shí)緩存空間供其使用, 并通過(guò)slicebytetostringtmp
函數(shù)將該緩存空間的首地址作為字符串的地址,字節(jié)長(zhǎng)度作為字符串的長(zhǎng)度。如果待拼接字符串的長(zhǎng)度大于32字節(jié),則會(huì)調(diào)用rawstring
函數(shù),該函數(shù)會(huì)在堆區(qū)為字符串分配存儲(chǔ)空間, 并且將該存儲(chǔ)空間的地址指向字符串。由此可以看出,字符串的底層是字節(jié)切片,且指向同一片內(nèi)存區(qū)域。在分配好存儲(chǔ)空間、完成指針指向等工作后,待拼接的字符串切片會(huì)被一個(gè)一個(gè)地通過(guò)內(nèi)存拷貝copy(b,x)
到分配好的存儲(chǔ)空間b
上。
// concatstrings implements a Go string concatenation x+y+z+... func concatstrings(buf *tmpBuf, a []string) string { ... l := 0 for i, x := range a { ... n := len(x) ... l += n ... } s, b := rawstringtmp(buf, l) for _, x := range a { copy(b, x) b = b[len(x):] } return s } func rawstringtmp(buf *tmpBuf, l int) (s string, b []byte) { if buf != nil && l <= len(buf) { b = buf[:l] s = slicebytetostringtmp(&b[0], len(b)) } else { s, b = rawstring(l) } return } func slicebytetostringtmp(ptr *byte, n int) (str string) { ... stringStructOf(&str).str = unsafe.Pointer(ptr) stringStructOf(&str).len = n return } // rawstring allocates storage for a new string. The returned // string and byte slice both refer to the same storage. func rawstring(size int) (s string, b []byte) { p := mallocgc(uintptr(size), nil, false) stringStructOf(&s).str = p stringStructOf(&s).len = size *(*slice)(unsafe.Pointer(&b)) = slice{p, size, size} return } type stringStruct struct { str unsafe.Pointer len int } func stringStructOf(sp *string) *stringStruct { return (*stringStruct)(unsafe.Pointer(sp)) }
3.字符串的轉(zhuǎn)換
盡管字符串的底層是字節(jié)數(shù)組, 但字節(jié)數(shù)組與字符串的相互轉(zhuǎn)換并不是簡(jiǎn)單的指針引用,而是涉及了內(nèi)存復(fù)制。當(dāng)字符串大于32字節(jié)時(shí),還需要申請(qǐng)堆內(nèi)存。
s := "go語(yǔ)言" b := []byte(s) // stringtoslicebyte ss := string(b) // slicebytetostring
當(dāng)字符串轉(zhuǎn)換為字節(jié)切片時(shí),需要調(diào)用stringtoslicebyte
函數(shù),當(dāng)字符串小于32字節(jié)時(shí),可以直接使用緩存buf
,但是當(dāng)字節(jié)長(zhǎng)度大于等于32時(shí),rawbyteslice
函數(shù)需要向堆區(qū)申請(qǐng)足夠的內(nèi)存空間,然后通過(guò)內(nèi)存復(fù)制將字符串拷貝到目標(biāo)地址。
// go/src/runtime/string.go func stringtoslicebyte(buf *tmpBuf, s string) []byte { var b []byte if buf != nil && len(s) <= len(buf) { *buf = tmpBuf{} b = buf[:len(s)] } else { b = rawbyteslice(len(s)) } copy(b, s) return b } func rawbyteslice(size int) (b []byte) { cap := roundupsize(uintptr(size)) p := mallocgc(cap, nil, false) if cap != uintptr(size) { memclrNoHeapPointers(add(p, uintptr(size)), cap-uintptr(size)) } *(*slice)(unsafe.Pointer(&b)) = slice{p, size, int(cap)} return } func slicebytetostring(buf *tmpBuf, ptr *byte, n int) (str string) { ... var p unsafe.Pointer if buf != nil && n <= len(buf) { p = unsafe.Pointer(buf) } else { p = mallocgc(uintptr(n), nil, false) } stringStructOf(&str).str = p stringStructOf(&str).len = n memmove(p, unsafe.Pointer(ptr), uintptr(n)) return }
字節(jié)切片轉(zhuǎn)換為字符串時(shí),原理同上。因此字符串和切片的轉(zhuǎn)換涉及內(nèi)存拷貝,在一些密集轉(zhuǎn)換的場(chǎng)景中,需要評(píng)估轉(zhuǎn)換帶來(lái)的性能損耗。
總結(jié)
- 字符串常量存儲(chǔ)在靜態(tài)存儲(chǔ)區(qū),其內(nèi)容不可以被改變。
- 字符串的本質(zhì)是字符數(shù)組,底層是字節(jié)數(shù)組,且與字符串指向同一個(gè)內(nèi)存地址。
- 字符串的長(zhǎng)度是字節(jié)長(zhǎng)度,要獲取直觀長(zhǎng)度,需要先轉(zhuǎn)換為符文數(shù)組,或者通過(guò)
utf8
標(biāo)準(zhǔn)庫(kù)的方法進(jìn)行處理。 - 字符串通過(guò)掃描源代碼的雙引號(hào)和反引號(hào)進(jìn)行解析。
- 字符串常量的拼接發(fā)生在編譯時(shí),且根據(jù)拼接字符串的個(gè)數(shù)調(diào)用了對(duì)應(yīng)的運(yùn)行時(shí)拼接函數(shù)。
- 字符串變量的拼接發(fā)生在運(yùn)行時(shí)。
- 無(wú)論是字符串的拼接還是轉(zhuǎn)換,當(dāng)字符串長(zhǎng)度小于32字節(jié)時(shí),可以直接使用棧區(qū)32字節(jié)的緩存,反之,需要向堆區(qū)申請(qǐng)足夠的存儲(chǔ)空間。
- 字符串與字節(jié)數(shù)組的相互轉(zhuǎn)換并不是無(wú)損的指針引用,涉及到了內(nèi)存復(fù)制。在轉(zhuǎn)換密集的場(chǎng)景需要考慮轉(zhuǎn)換的性能和空間損耗。
到此這篇關(guān)于golang字符串本質(zhì)與原理詳解的文章就介紹到這了,更多相關(guān)golang字符串 內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
解決 Golang VS Code 插件下載安裝失敗的問(wèn)題
這篇文章主要介紹了解決 Golang VS Code 插件下載安裝失敗,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-05-05Golang 性能基準(zhǔn)測(cè)試(benchmark)詳解
Golang性能基準(zhǔn)測(cè)試可以幫助開(kāi)發(fā)人員比較不同的實(shí)現(xiàn)方式對(duì)性能的影響,以便優(yōu)化程序,本文就來(lái)講解一下如何使用Golang的性能基準(zhǔn)測(cè)試功能,需要的朋友可以參考下2023-06-06解決vscode中g(shù)olang插件依賴(lài)安裝失敗問(wèn)題
這篇文章主要介紹了解決vscode中g(shù)olang插件依賴(lài)安裝失敗問(wèn)題,本文給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-08-08使用Gorm操作Oracle數(shù)據(jù)庫(kù)踩坑記錄
gorm是目前用得最多的go語(yǔ)言orm庫(kù),本文主要介紹了使用Gorm操作Oracle數(shù)據(jù)庫(kù)踩坑記錄,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2022-06-06VScode下配置Go語(yǔ)言開(kāi)發(fā)環(huán)境(2023最新)
在VSCode中配置Golang開(kāi)發(fā)環(huán)境是非常簡(jiǎn)單的,本文主要記錄了Go的安裝,以及給vscode配置Go的環(huán)境,具有一定的參考價(jià)值,感興趣的可以了解一下2023-10-10go語(yǔ)言基礎(chǔ) seek光標(biāo)位置os包的使用
這篇文章主要介紹了go語(yǔ)言基礎(chǔ) seek光標(biāo)位置os包的使用詳解,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-05-05golang中為什么Response.Body需要被關(guān)閉詳解
這篇文章主要給大家介紹了關(guān)于golang中為什么Response.Body需要被關(guān)閉的相關(guān)資料,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2018-08-08