golang字符串本質(zhì)與原理詳解
一、字符串的本質(zhì)
1.字符串的定義
golang中的字符(character)串指的是所有8比特位字節(jié)字符串的集合,通常(非必須)是UTF-8 編碼的文本。 字符串可以為空,但不能是nil。 字符串在編譯時(shí)即確定了長(zhǎng)度,值是不可變的。
// go/src/builtin/builtin.go // string is the set of all strings of 8-bit bytes, conventionally but not // necessarily representing UTF-8-encoded text. A string may be empty, but // not nil. Values of string type are immutable. type string string
字符串在本質(zhì)上是一串字符數(shù)組,每個(gè)字符在存儲(chǔ)時(shí)都對(duì)應(yīng)了一個(gè)或多個(gè)整數(shù),整數(shù)是多少取決于字符集的編碼方式。
s := "golang"
for i := 0; i < len(s); i++ {
fmt.Printf("s[%v]: %v\n",i, s[i])
}
// s[0]: 103
// s[1]: 111
// s[2]: 108
// s[3]: 97
// s[4]: 110
// s[5]: 103字符串在編譯時(shí)類型為string,在運(yùn)行時(shí)其類型定義為一個(gè)結(jié)構(gòu)體,位于reflect包中:
// go/src/reflect/value.go
// StringHeader is the runtime representation of a string.
// ...
type StringHeader struct {
Data uintptr
Len int
}根據(jù)運(yùn)行時(shí)字符串的定義可知,在程序運(yùn)行的過程中,字符串存儲(chǔ)了長(zhǎng)度(Len)及指向?qū)嶋H數(shù)據(jù)的指針(Data)。
2.字符串的長(zhǎng)度
golang中所有文件都采用utf8編碼,字符常量也使用utf8編碼字符集。1個(gè)英文字母占1個(gè)字節(jié)長(zhǎng)度,一個(gè)中文占3個(gè)字節(jié)長(zhǎng)度。go中對(duì)字符串取長(zhǎng)度len(s)指的是字節(jié)長(zhǎng)度,而不是字符個(gè)數(shù),這與動(dòng)態(tài)語(yǔ)言如python中的表現(xiàn)有所差別。如:
print(len("go語(yǔ)言"))
# 4s := "go語(yǔ)言"
fmt.Printf("len(s): %v\n", len(s))
// len(s): 83.字符與符文
go中存在一個(gè)特殊類型——符文類型(rune),用來表示和區(qū)分字符串中的字符。rune的本質(zhì)是int32。字符串符文的個(gè)數(shù)往往才比較符合我們直觀感受上的字符串長(zhǎng)度。要計(jì)算字符串符文長(zhǎng)度,可以先將字符串轉(zhuǎn)為[]rune類型,或者利用標(biāo)準(zhǔn)庫(kù)中的utf8.RuneCountInString()函數(shù)。
s := "go語(yǔ)言" fmt.Println(len([]rune(s))) // 4 count := utf8.RuneCountInString(s) fmt.Println(count) // 4
當(dāng)用range遍歷字符串時(shí),遍歷的就不再是單字節(jié),而是單個(gè)符文rune。
s := "go語(yǔ)言"
for _, r := range s {
fmt.Printf("rune: %v string: %#U\n", r, r)
}
// rune: 103 unicode: U+0067 'g'
// rune: 111 unicode: U+006F 'o'
// rune: 35821 unicode: U+8BED '語(yǔ)'
// rune: 35328 unicode: U+8A00 '言'二、字符串的原理
1.字符串的解析
golang在詞法解析階段,通過掃描源代碼,將雙引號(hào)和反引號(hào)開頭的內(nèi)容分別識(shí)別為標(biāo)準(zhǔn)字符串和原始字符串:
// go/src/cmd/compile/internal/syntax/scanner.go
func (s *scanner) next() {
...
switch s.ch {
...
case '"':
s.stdString()
case '`':
s.rawString()
...然后,不斷的掃描下一個(gè)字符,直到遇到另一個(gè)雙引號(hào)和反引號(hào)即結(jié)束掃描。并通過string(s.segment())將解析到的字節(jié)轉(zhuǎn)換為字符串,同時(shí)通過setLlit()方法將掃描到的內(nèi)容類型(kind)標(biāo)記為StringLit。
func (s *scanner) stdString() {
ok := true
s.nextch()
for {
if s.ch == '"' {
s.nextch()
break
}
...
s.nextch()
}
s.setLit(StringLit, ok)
}
func (s *scanner) rawString() {
ok := true
s.nextch()
for {
if s.ch == '`' {
s.nextch()
break
}
...
s.nextch()
}
s.setLit(StringLit, ok)
}
// setLit sets the scanner state for a recognized _Literal token.
func (s *scanner) setLit(kind LitKind, ok bool) {
s.nlsemi = true
s.tok = _Literal
s.lit = string(s.segment())
s.bad = !ok
s.kind = kind
}2.字符串的拼接
字符串可以通過+進(jìn)行拼接:
s := "go" + "lang"
在編譯階段構(gòu)建抽象語(yǔ)法樹時(shí),等號(hào)右邊的"go"+"lang"會(huì)被解析為一個(gè)字符串相加的表達(dá)式(AddStringExpr)節(jié)點(diǎn),該表達(dá)式的操作op為OADDSTR。相加的各部分字符串被解析為節(jié)點(diǎn)Node列表,并賦給表達(dá)式的List字段:
// go/src/cmd/compile/internal/ir/expr.go
// An AddStringExpr is a string concatenation Expr[0] + Exprs[1] + ... + Expr[len(Expr)-1].
type AddStringExpr struct {
miniExpr
List Nodes
Prealloc *Name
}
func NewAddStringExpr(pos src.XPos, list []Node) *AddStringExpr {
n := &AddStringExpr{}
n.pos = pos
n.op = OADDSTR
n.List = list
return n
}在構(gòu)建抽象語(yǔ)法樹時(shí),會(huì)遍歷整個(gè)語(yǔ)法樹的表達(dá)式,在遍歷的過程中,識(shí)別到操作Op的類型為OADDSTR,則會(huì)調(diào)用walkAddString對(duì)字符串加法表達(dá)式進(jìn)行進(jìn)一步處理:
// go/src/cmd/compile/internal/walk/expr.go
func walkExpr(n ir.Node, init *ir.Nodes) ir.Node {
...
n = walkExpr1(n, init)
...
return n
}
func walkExpr1(n ir.Node, init *ir.Nodes) ir.Node {
switch n.Op() {
...
case ir.OADDSTR:
return walkAddString(n.(*ir.AddStringExpr), init)
...
}
...
}walkAddString首先計(jì)算相加的字符串的個(gè)數(shù)c,如果相加的字符串個(gè)數(shù)小于2,則會(huì)報(bào)錯(cuò)。接下來會(huì)對(duì)相加的字符串字節(jié)長(zhǎng)度求和,如果字符串總字節(jié)長(zhǎng)度小于32,則會(huì)通過stackBufAddr()在棧空間開辟一塊32字節(jié)的緩存空間。否則會(huì)在堆區(qū)開辟一個(gè)足夠大的內(nèi)存空間,用于存儲(chǔ)多個(gè)字符串。
// go/src/cmd/compile/internal/walk/walk.go
const tmpstringbufsize = 32
// go/src/cmd/compile/internal/walk/expr.go
func walkAddString(n *ir.AddStringExpr, init *ir.Nodes) ir.Node {
c := len(n.List)
if c < 2 {
base.Fatalf("walkAddString count %d too small", c)
}
buf := typecheck.NodNil()
if n.Esc() == ir.EscNone {
sz := int64(0)
for _, n1 := range n.List {
if n1.Op() == ir.OLITERAL {
sz += int64(len(ir.StringVal(n1)))
}
}
// Don't allocate the buffer if the result won't fit.
if sz < tmpstringbufsize {
// Create temporary buffer for result string on stack.
buf = stackBufAddr(tmpstringbufsize, types.Types[types.TUINT8])
}
}
// build list of string arguments
args := []ir.Node{buf}
for _, n2 := range n.List {
args = append(args, typecheck.Conv(n2, types.Types[types.TSTRING]))
}
var fn string
if c <= 5 {
// small numbers of strings use direct runtime helpers.
// note: order.expr knows this cutoff too.
fn = fmt.Sprintf("concatstring%d", c)
} else {
// large numbers of strings are passed to the runtime as a slice.
fn = "concatstrings"
t := types.NewSlice(types.Types[types.TSTRING])
// args[1:] to skip buf arg
slice := ir.NewCompLitExpr(base.Pos, ir.OCOMPLIT, t, args[1:])
slice.Prealloc = n.Prealloc
args = []ir.Node{buf, slice}
slice.SetEsc(ir.EscNone)
}
cat := typecheck.LookupRuntime(fn)
r := ir.NewCallExpr(base.Pos, ir.OCALL, cat, nil)
r.Args = args
r1 := typecheck.Expr(r)
r1 = walkExpr(r1, init)
r1.SetType(n.Type())
return r1
}如果用于相加的字符串個(gè)數(shù)小于等于5個(gè),則會(huì)調(diào)用運(yùn)行時(shí)的字符串拼接concatstring1-concatstring5函數(shù)。否則調(diào)用運(yùn)行時(shí)的concatstrings函數(shù),并將字符串通過切片slice的形式傳入。類型檢查中的typecheck.LookupRuntime(fn)方法查找到運(yùn)行時(shí)的字符串拼接函數(shù)后,將其構(gòu)建為一個(gè)調(diào)用表達(dá)式,操作Op為OCALL,最后遍歷調(diào)用表達(dá)式完成調(diào)用。concatstring1-concatstring5中的每一個(gè)調(diào)用最終都會(huì)調(diào)用concatstrings函數(shù)。
// go/src/runtime/string.go
const tmpStringBufSize = 32
type tmpBuf [tmpStringBufSize]byte
func concatstring2(buf *tmpBuf, a0, a1 string) string {
return concatstrings(buf, []string{a0, a1})
}
func concatstring3(buf *tmpBuf, a0, a1, a2 string) string {
return concatstrings(buf, []string{a0, a1, a2})
}
func concatstring4(buf *tmpBuf, a0, a1, a2, a3 string) string {
return concatstrings(buf, []string{a0, a1, a2, a3})
}
func concatstring5(buf *tmpBuf, a0, a1, a2, a3, a4 string) string {
return concatstrings(buf, []string{a0, a1, a2, a3, a4})
}concatstring1-concatstring5已經(jīng)存在一個(gè)32字節(jié)的臨時(shí)緩存空間供其使用, 并通過slicebytetostringtmp函數(shù)將該緩存空間的首地址作為字符串的地址,字節(jié)長(zhǎng)度作為字符串的長(zhǎng)度。如果待拼接字符串的長(zhǎng)度大于32字節(jié),則會(huì)調(diào)用rawstring函數(shù),該函數(shù)會(huì)在堆區(qū)為字符串分配存儲(chǔ)空間, 并且將該存儲(chǔ)空間的地址指向字符串。由此可以看出,字符串的底層是字節(jié)切片,且指向同一片內(nèi)存區(qū)域。在分配好存儲(chǔ)空間、完成指針指向等工作后,待拼接的字符串切片會(huì)被一個(gè)一個(gè)地通過內(nèi)存拷貝copy(b,x)到分配好的存儲(chǔ)空間b上。
// concatstrings implements a Go string concatenation x+y+z+...
func concatstrings(buf *tmpBuf, a []string) string {
...
l := 0
for i, x := range a {
...
n := len(x)
...
l += n
...
}
s, b := rawstringtmp(buf, l)
for _, x := range a {
copy(b, x)
b = b[len(x):]
}
return s
}
func rawstringtmp(buf *tmpBuf, l int) (s string, b []byte) {
if buf != nil && l <= len(buf) {
b = buf[:l]
s = slicebytetostringtmp(&b[0], len(b))
} else {
s, b = rawstring(l)
}
return
}
func slicebytetostringtmp(ptr *byte, n int) (str string) {
...
stringStructOf(&str).str = unsafe.Pointer(ptr)
stringStructOf(&str).len = n
return
}
// rawstring allocates storage for a new string. The returned
// string and byte slice both refer to the same storage.
func rawstring(size int) (s string, b []byte) {
p := mallocgc(uintptr(size), nil, false)
stringStructOf(&s).str = p
stringStructOf(&s).len = size
*(*slice)(unsafe.Pointer(&b)) = slice{p, size, size}
return
}
type stringStruct struct {
str unsafe.Pointer
len int
}
func stringStructOf(sp *string) *stringStruct {
return (*stringStruct)(unsafe.Pointer(sp))
}3.字符串的轉(zhuǎn)換
盡管字符串的底層是字節(jié)數(shù)組, 但字節(jié)數(shù)組與字符串的相互轉(zhuǎn)換并不是簡(jiǎn)單的指針引用,而是涉及了內(nèi)存復(fù)制。當(dāng)字符串大于32字節(jié)時(shí),還需要申請(qǐng)堆內(nèi)存。
s := "go語(yǔ)言" b := []byte(s) // stringtoslicebyte ss := string(b) // slicebytetostring
當(dāng)字符串轉(zhuǎn)換為字節(jié)切片時(shí),需要調(diào)用stringtoslicebyte函數(shù),當(dāng)字符串小于32字節(jié)時(shí),可以直接使用緩存buf,但是當(dāng)字節(jié)長(zhǎng)度大于等于32時(shí),rawbyteslice函數(shù)需要向堆區(qū)申請(qǐng)足夠的內(nèi)存空間,然后通過內(nèi)存復(fù)制將字符串拷貝到目標(biāo)地址。
// go/src/runtime/string.go
func stringtoslicebyte(buf *tmpBuf, s string) []byte {
var b []byte
if buf != nil && len(s) <= len(buf) {
*buf = tmpBuf{}
b = buf[:len(s)]
} else {
b = rawbyteslice(len(s))
}
copy(b, s)
return b
}
func rawbyteslice(size int) (b []byte) {
cap := roundupsize(uintptr(size))
p := mallocgc(cap, nil, false)
if cap != uintptr(size) {
memclrNoHeapPointers(add(p, uintptr(size)), cap-uintptr(size))
}
*(*slice)(unsafe.Pointer(&b)) = slice{p, size, int(cap)}
return
}
func slicebytetostring(buf *tmpBuf, ptr *byte, n int) (str string) {
...
var p unsafe.Pointer
if buf != nil && n <= len(buf) {
p = unsafe.Pointer(buf)
} else {
p = mallocgc(uintptr(n), nil, false)
}
stringStructOf(&str).str = p
stringStructOf(&str).len = n
memmove(p, unsafe.Pointer(ptr), uintptr(n))
return
}字節(jié)切片轉(zhuǎn)換為字符串時(shí),原理同上。因此字符串和切片的轉(zhuǎn)換涉及內(nèi)存拷貝,在一些密集轉(zhuǎn)換的場(chǎng)景中,需要評(píng)估轉(zhuǎn)換帶來的性能損耗。
總結(jié)
- 字符串常量存儲(chǔ)在靜態(tài)存儲(chǔ)區(qū),其內(nèi)容不可以被改變。
- 字符串的本質(zhì)是字符數(shù)組,底層是字節(jié)數(shù)組,且與字符串指向同一個(gè)內(nèi)存地址。
- 字符串的長(zhǎng)度是字節(jié)長(zhǎng)度,要獲取直觀長(zhǎng)度,需要先轉(zhuǎn)換為符文數(shù)組,或者通過
utf8標(biāo)準(zhǔn)庫(kù)的方法進(jìn)行處理。 - 字符串通過掃描源代碼的雙引號(hào)和反引號(hào)進(jìn)行解析。
- 字符串常量的拼接發(fā)生在編譯時(shí),且根據(jù)拼接字符串的個(gè)數(shù)調(diào)用了對(duì)應(yīng)的運(yùn)行時(shí)拼接函數(shù)。
- 字符串變量的拼接發(fā)生在運(yùn)行時(shí)。
- 無論是字符串的拼接還是轉(zhuǎn)換,當(dāng)字符串長(zhǎng)度小于32字節(jié)時(shí),可以直接使用棧區(qū)32字節(jié)的緩存,反之,需要向堆區(qū)申請(qǐng)足夠的存儲(chǔ)空間。
- 字符串與字節(jié)數(shù)組的相互轉(zhuǎn)換并不是無損的指針引用,涉及到了內(nèi)存復(fù)制。在轉(zhuǎn)換密集的場(chǎng)景需要考慮轉(zhuǎn)換的性能和空間損耗。
到此這篇關(guān)于golang字符串本質(zhì)與原理詳解的文章就介紹到這了,更多相關(guān)golang字符串 內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Golang 性能基準(zhǔn)測(cè)試(benchmark)詳解
Golang性能基準(zhǔn)測(cè)試可以幫助開發(fā)人員比較不同的實(shí)現(xiàn)方式對(duì)性能的影響,以便優(yōu)化程序,本文就來講解一下如何使用Golang的性能基準(zhǔn)測(cè)試功能,需要的朋友可以參考下2023-06-06
解決vscode中g(shù)olang插件依賴安裝失敗問題
這篇文章主要介紹了解決vscode中g(shù)olang插件依賴安裝失敗問題,本文給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-08-08
使用Gorm操作Oracle數(shù)據(jù)庫(kù)踩坑記錄
gorm是目前用得最多的go語(yǔ)言orm庫(kù),本文主要介紹了使用Gorm操作Oracle數(shù)據(jù)庫(kù)踩坑記錄,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-06-06
VScode下配置Go語(yǔ)言開發(fā)環(huán)境(2023最新)
在VSCode中配置Golang開發(fā)環(huán)境是非常簡(jiǎn)單的,本文主要記錄了Go的安裝,以及給vscode配置Go的環(huán)境,具有一定的參考價(jià)值,感興趣的可以了解一下2023-10-10
go語(yǔ)言基礎(chǔ) seek光標(biāo)位置os包的使用
這篇文章主要介紹了go語(yǔ)言基礎(chǔ) seek光標(biāo)位置os包的使用詳解,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2021-05-05
golang中為什么Response.Body需要被關(guān)閉詳解
這篇文章主要給大家介紹了關(guān)于golang中為什么Response.Body需要被關(guān)閉的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2018-08-08

