源碼剖析Golang如何fork一個(gè)進(jìn)程
創(chuàng)建一個(gè)新進(jìn)程分為兩個(gè)步驟,一個(gè)是fork系統(tǒng)調(diào)用,一個(gè)是execve 系統(tǒng)調(diào)用,fork調(diào)用會(huì)復(fù)用父進(jìn)程的堆棧,而execve直接覆蓋當(dāng)前進(jìn)程的堆棧,并且將下一條執(zhí)行指令指向新的可執(zhí)行文件。
在分析源碼之前,我們先來看看golang fork一個(gè)子進(jìn)程該如何寫。(嚴(yán)格的講是先fork再execve創(chuàng)建一個(gè)子進(jìn)程)
cmd := exec.Command("/bin/sh") cmd.Env = os.Environ() cmd.Stdin = os.Stdin cmd.Stdout = os.Stdout cmd.Stderr = os.Stderr err = cmd.Run()
上述代碼將fork一個(gè)子進(jìn)程,然后子進(jìn)程將會(huì)調(diào)用execve系統(tǒng)調(diào)用,使用新的可執(zhí)行文件/bin/sh代替當(dāng)前子進(jìn)程的程序。并且當(dāng)前的標(biāo)準(zhǔn)輸入輸出也傳遞給了子進(jìn)程。
我們將著重看下golang是如何創(chuàng)建和將父進(jìn)程的文件描述符傳遞給子進(jìn)程的。
cmd.Run() 會(huì)調(diào)用到cmd.Start 方法,里面有一段邏輯和標(biāo)準(zhǔn)輸入輸出流的傳遞相關(guān),我們來看看。
// /usr/local/go/src/os/exec/exec.go:625 func (c *Cmd) Start() error { ...... childFiles := make([]*os.File, 0, 3+len(c.ExtraFiles)) // 創(chuàng)建子進(jìn)程的stdin 標(biāo)準(zhǔn)輸入 stdin, err := c.childStdin() if err != nil { return err } childFiles = append(childFiles, stdin) // 創(chuàng)建子進(jìn)程的stdout 標(biāo)準(zhǔn)輸出 stdout, err := c.childStdout() if err != nil { return err } childFiles = append(childFiles, stdout) // 創(chuàng)建子進(jìn)程的stderr 標(biāo)準(zhǔn)錯(cuò)誤輸出 stderr, err := c.childStderr(stdout) if err != nil { return err } // 此時(shí)childFiles 已經(jīng)包含了上述3個(gè)標(biāo)準(zhǔn)輸入輸出流 childFiles = append(childFiles, stderr) childFiles = append(childFiles, c.ExtraFiles...) env, err := c.environ() if err != nil { return err } // os.StartProcess 將會(huì)啟動(dòng)一個(gè)子進(jìn)程并從childFiles繼承父進(jìn)程的放入其中的文件描述符 c.Process, err = os.StartProcess(c.Path, c.argv(), &os.ProcAttr{ Dir: c.Dir, Files: childFiles, Env: env, Sys: c.SysProcAttr, }) ..... }
如上所述,cmd.Start 會(huì)分別調(diào)用childStdin,childStdout,childStderr創(chuàng)建用于子進(jìn)程的標(biāo)準(zhǔn)輸入輸出。來看看其中一個(gè)childStdin實(shí)現(xiàn)原理,其余childStdout,childStderr 實(shí)現(xiàn)原理也是和它類似的。
// /usr/local/go/src/os/exec/exec.go:489 func (c *Cmd) childStdin() (*os.File, error) { ..... pr, pw, err := os.Pipe() if err != nil { return nil, err } c.childIOFiles = append(c.childIOFiles, pr) c.parentIOPipes = append(c.parentIOPipes, pw) // pw 寫入的數(shù)據(jù) 來源于 c.Stdin 父進(jìn)程會(huì)啟動(dòng)一個(gè)協(xié)程復(fù)制c.Stdin 到 pw c.goroutine = append(c.goroutine, func() error { _, err := io.Copy(pw, c.Stdin) if skipStdinCopyError(err) { err = nil } if err1 := pw.Close(); err == nil { err = err1 } return err }) .... return pr, nil }
childStdin 實(shí)際上是創(chuàng)建了一個(gè)管道,管道有返回值 pw,pr , 由pw寫入的數(shù)據(jù)可以由pr進(jìn)行讀取,w 寫入的數(shù)據(jù) 來源于 c.Stdin 父進(jìn)程會(huì)啟動(dòng)一個(gè)協(xié)程復(fù)制c.Stdin 到 pw ,而c.Stdin 在我們最開的演示代碼那里賦值為了標(biāo)準(zhǔn)輸入。
cmd := exec.Command("/bin/sh") cmd.Env = os.Environ() cmd.Stdin = os.Stdin cmd.Stdout = os.Stdout cmd.Stderr = os.Stderr err = cmd.Run()
而pr 則返回由父進(jìn)程通過os.StartProcess的childFiles 傳遞給了子進(jìn)程,并作為子進(jìn)程的標(biāo)準(zhǔn)輸入,當(dāng)子進(jìn)程啟動(dòng)后將會(huì)從pr中獲取標(biāo)準(zhǔn)輸入終端的數(shù)據(jù)。
看到這里,你應(yīng)該能明白了,子進(jìn)程是如何獲取獲取父進(jìn)程的終端信息的了,通過建立了一個(gè)管道,然后將管道的一端傳遞給了子進(jìn)程便能讓父子進(jìn)程進(jìn)行通信了。
讓我們?cè)倩氐絼?chuàng)建進(jìn)程的主流程上,剛剛僅僅是分析出了,父進(jìn)程將會(huì)為子進(jìn)程創(chuàng)建它自己的標(biāo)準(zhǔn)輸入輸出流,雖然是通過管道包裝的,但還沒詳細(xì)分析出os.StartProcess 方法究竟通過了哪些手段來讓父進(jìn)程的文件描述符傳遞給子進(jìn)程。
注意下,golang中 fork 和execve 創(chuàng)建子進(jìn)程 的過程 被封裝成了一個(gè)統(tǒng)一的方法forkExec,它能夠控制子進(jìn)程,只繼承特定的文件描述符,而對(duì)其他文件描述符則進(jìn)行關(guān)閉。而內(nèi)核fork系統(tǒng)調(diào)用則是會(huì)對(duì)父進(jìn)程的所有文件描述符進(jìn)行復(fù)制,那么golang又是如何做到只繼承特定的文件描述符的呢?這個(gè)也是接下來分析的重點(diǎn)
接下來,讓我們深入os.StartProcess 方法,看看golang是如何辦到只繼承父進(jìn)程通過childFiles傳遞過來的文件描述符進(jìn)行fork和execve調(diào)用的。
os.StartProcess 底層會(huì)調(diào)用到 forkAndExecInChild1 方法,由于代碼比較長(zhǎng),我這里只列出了關(guān)鍵步驟,并對(duì)其進(jìn)行了注釋。
func forkAndExecInChild1(argv0 *byte, argv, envv []*byte, chroot, dir *byte, attr *ProcAttr, sys *SysProcAttr, pipe int) (r1 uintptr, err1 Errno, p [2]int, locked bool) { ... // fork 調(diào)用前 會(huì)將attr.Files 里的數(shù)據(jù)復(fù)制到fd數(shù)組,我們傳遞給子進(jìn)程的是childFiles,當(dāng)代碼執(zhí)行到這里的時(shí)候,childFiles已經(jīng)轉(zhuǎn)化成了文件描述符存到attr.Files了。nextfd是為了后續(xù)再進(jìn)行復(fù)制文件描述符時(shí),不會(huì)對(duì)子進(jìn)程要用到的文件描述符進(jìn)行覆蓋,會(huì)在接下來步驟1進(jìn)行詳細(xì)說明 nextfd = len(attr.Files) for i, ufd := range attr.Files { if nextfd < int(ufd) { nextfd = int(ufd) } fd[i] = int(ufd) } nextfd++ ..... // 這里便進(jìn)行了fork調(diào)用創(chuàng)建新進(jìn)程了,不過可以看到這里用的是clone系統(tǒng)調(diào)用,其實(shí)它和fork類似,不過區(qū)別在于clone系統(tǒng)調(diào)用可以通過flags指定新進(jìn)程 對(duì)于 父進(jìn)程的哪些屬性需要繼承,哪些屬性不需要繼承,比如子進(jìn)程需要新的網(wǎng)絡(luò)命名空間,則需要指定flags為syscall.CLONE_NEWNS r1, err1 = rawVforkSyscall(SYS_CLONE, flags, 0) .... // 步驟1: 總之經(jīng)過上面clone系統(tǒng)調(diào)用,已經(jīng)產(chǎn)生了子進(jìn)程了,下面兩個(gè)步驟都是子進(jìn)程才會(huì)進(jìn)行的步驟,父進(jìn)程在上述clone系統(tǒng)調(diào)用后,通過判斷err1 != 0 || r1 != 0 便返回了。 // 這里將fd[i] < i 的文件描述符 通過dup 系統(tǒng)調(diào)用復(fù)制到了一個(gè)新的文件描述符,因?yàn)楹罄m(xù)步驟2里我們需要將復(fù)制 fd[i] 到第i個(gè)文件描述符 ,如果fd[i] < i ,那么將會(huì)導(dǎo)致復(fù)制的fd[i] 是子進(jìn)程已經(jīng)產(chǎn)生復(fù)制行為的文件描述符,而不是父進(jìn)程真正傳遞過來的文件描述符,所以要通過nextfd將這樣的文件描述符復(fù)制到fd數(shù)組外,并且設(shè)置O_CLOEXEC,這樣在后續(xù)的execve系統(tǒng)調(diào)用后,將會(huì)對(duì)它進(jìn)行自動(dòng)關(guān)閉。 for i = 0; i < len(fd); i++ { if fd[i] >= 0 && fd[i] < i { .... _, _, err1 = RawSyscall(SYS_DUP3, uintptr(fd[i]), uintptr(nextfd), O_CLOEXEC) if err1 != 0 { goto childerror } fd[i] = nextfd nextfd++ } } .... // 步驟2 : 遍歷fd 讓 子進(jìn)程fd[i] 個(gè)文件描述符復(fù)制給第i個(gè)文件描述符 ,注意這里就沒有設(shè)置O_CLOEXEC了,因?yàn)檫@里的文件描述符我們希望execve后還存在 for i = 0; i < len(fd); i++ { .... _, _, err1 = RawSyscall(SYS_DUP3, uintptr(fd[i]), uintptr(i), 0) if err1 != 0 { goto childerror } } .... // 進(jìn)行execve 系統(tǒng)調(diào)用 _, _, err1 = RawSyscall(SYS_EXECVE, uintptr(unsafe.Pointer(argv0)), uintptr(unsafe.Pointer(&argv[0])), uintptr(unsafe.Pointer(&envv[0]))) }
可以看出,golang在execve前, 通過dup系統(tǒng)調(diào)用達(dá)到了繼承父進(jìn)程文件描述符的目的,最終達(dá)到的效果是繼承attr.Files 參數(shù)里的文件描述符,期間由于dup的使用 產(chǎn)生的多余的文件描述符也標(biāo)記為了O_CLOEXEC,在SYS_EXECVE 系統(tǒng)調(diào)用時(shí),便會(huì)關(guān)閉掉。
但是僅僅看到這里,并不能說明golang會(huì)對(duì)attr.Files外的文件描述符也進(jìn)行關(guān)閉,因?yàn)閒ork系統(tǒng)調(diào)用時(shí),子進(jìn)程會(huì)自動(dòng)繼承父進(jìn)程的所有文件描述符,這些繼承的文件描述符會(huì)在execve后自動(dòng)關(guān)閉嗎? 答案是默認(rèn)是會(huì)的。
golang的 os.open 函數(shù)底層會(huì)調(diào)用下面的代碼對(duì)文件進(jìn)行打開操作,可以看到打開時(shí)固定設(shè)置了syscall.O_CLOEXEC flag,所以,子進(jìn)程進(jìn)行execve時(shí)變會(huì)自動(dòng)對(duì)這些文件描述符進(jìn)行關(guān)閉了。
func openFileNolog(name string, flag int, perm FileMode) (*File, error) { setSticky := false if !supportsCreateWithStickyBit && flag&O_CREATE != 0 && perm&ModeSticky != 0 { if _, err := Stat(name); IsNotExist(err) { setSticky = true } } var r int for { var e error r, e = syscall.Open(name, flag|syscall.O_CLOEXEC, syscallMode(perm)) if e == nil {
監(jiān)聽的socket文件也是默認(rèn)開啟了syscall.SOCK_NONBLOCK參數(shù)
// descriptor as nonblocking and close-on-exec. func sysSocket(family, sotype, proto int) (int, error) { s, err := socketFunc(family, sotype|syscall.SOCK_NONBLOCK|syscall.SOCK_CLOEXEC, proto) if err != nil { return -1, os.NewSyscallError("socket", err) } return s, nil }
到此這篇關(guān)于源碼剖析Golang如何fork一個(gè)進(jìn)程的文章就介紹到這了,更多相關(guān)Golang fork進(jìn)程內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Go語言使用漏桶算法和令牌桶算法來實(shí)現(xiàn)API限流
為防止服務(wù)器被過多的請(qǐng)求壓垮,限流是一個(gè)至關(guān)重要的技術(shù)手段,下面我們就來看看如何使用漏桶算法和令牌桶算法來實(shí)現(xiàn) API 的限流吧2024-11-11Go導(dǎo)入不同目錄下包報(bào)錯(cuò)的解決方法
包(package)是多個(gè)Go源碼的集合,是一種高級(jí)的代碼復(fù)用方案,下面這篇文章主要給大家介紹了關(guān)于Go導(dǎo)入不同目錄下包報(bào)錯(cuò)的解決方法,文中通過實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2023-06-06一文詳解golang延時(shí)任務(wù)的實(shí)現(xiàn)
這篇文章主要為大家介紹了golang延時(shí)任務(wù)的實(shí)現(xiàn)示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-03-03基于Golang實(shí)現(xiàn)Redis協(xié)議解析器
這篇文章主要為大家詳細(xì)介紹了如何通過GO語言編寫簡(jiǎn)單的Redis協(xié)議解析器,文中的示例代碼講解詳細(xì),對(duì)我們深入了解Go語言有一定的幫助,需要的可以參考一下2023-03-03go語言goto語句跳轉(zhuǎn)到指定的標(biāo)簽實(shí)現(xiàn)方法
這篇文章主要介紹了go語言goto語句跳轉(zhuǎn)到指定的標(biāo)簽實(shí)現(xiàn)方法,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-05-05go?goroutine實(shí)現(xiàn)素?cái)?shù)統(tǒng)計(jì)的示例
這篇文章主要介紹了go?goroutine實(shí)現(xiàn)素?cái)?shù)統(tǒng)計(jì),本文通過示例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2022-07-07詳解Go語言中關(guān)于包導(dǎo)入必學(xué)的 8 個(gè)知識(shí)點(diǎn)
這篇文章主要介紹了詳解Go語言中關(guān)于包導(dǎo)入必學(xué)的 8 個(gè)知識(shí)點(diǎn),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-08-08