golang調(diào)用shell命令(實(shí)時(shí)輸出,終止)
背景
是這樣的,最近在研究一個(gè)定時(shí)任務(wù)系統(tǒng)的改造,可能有點(diǎn)像jenkins做到的那種吧。
可以輸入shell命令,也可以執(zhí)行py腳本等等,相比之前來說,也要能夠及時(shí)停止!
但是遇到了這么個(gè)問題,golang執(zhí)行py腳本的時(shí)候獲取不到腳本的輸出。
首先來看看go里面怎么運(yùn)行shell腳本吧,我比較喜歡執(zhí)行全部命令。
普通用法(一次性獲取所有輸出)
package main ? import ( "fmt" "os/exec" ) ? func main() { ? ?Command("ls") } ? // 這里為了簡化,我省去了stderr和其他信息 func Command(cmd string) error { c := exec.Command("bash", "-c", cmd) ? ?// 此處是windows版本 ? ?// c := exec.Command("cmd", "/C", cmd) output, err := c.CombinedOutput() fmt.Println(string(output)) return err }
可以看到,當(dāng)前命令執(zhí)行的是輸出當(dāng)前目錄下的文件/文件夾
實(shí)時(shí)顯示
效果圖:
package main ? import ( "bufio" "fmt" "io" "os/exec" "sync" ) ? func main() { // 執(zhí)行ping baidu的命令, 命令不會(huì)結(jié)束 Command("ping www.baidu.com") ? } ? func Command(cmd string) error { //c := exec.Command("cmd", "/C", cmd) // windows c := exec.Command("bash", "-c", cmd) ?// mac or linux stdout, err := c.StdoutPipe() if err != nil { return err } var wg sync.WaitGroup wg.Add(1) go func() { defer wg.Done() reader := bufio.NewReader(stdout) for { readString, err := reader.ReadString('\n') if err != nil || err == io.EOF { return } fmt.Print(readString) } }() err = c.Start() wg.Wait() return err }
可關(guān)閉+實(shí)時(shí)輸出
package main ? import ( "bufio" "context" "fmt" "io" "os/exec" "sync" "time" ) ? func main() { ctx, cancel := context.WithCancel(context.Background()) go func(cancelFunc context.CancelFunc) { time.Sleep(3 * time.Second) cancelFunc() }(cancel) Command(ctx, "ping www.baidu.com") } ? func Command(ctx context.Context, cmd string) error { // c := exec.CommandContext(ctx, "cmd", "/C", cmd) ? ?c := exec.CommandContext(ctx, "bash", "-c", cmd) // mac linux stdout, err := c.StdoutPipe() if err != nil { return err } var wg sync.WaitGroup wg.Add(1) go func(wg *sync.WaitGroup) { defer wg.Done() reader := bufio.NewReader(stdout) for { // 其實(shí)這段去掉程序也會(huì)正常運(yùn)行,只是我們就不知道到底什么時(shí)候Command被停止了,而且如果我們需要實(shí)時(shí)給web端展示輸出的話,這里可以作為依據(jù) 取消展示 select { // 檢測到ctx.Done()之后停止讀取 case <-ctx.Done(): if ctx.Err() != nil { fmt.Printf("程序出現(xiàn)錯(cuò)誤: %q", ctx.Err()) } else { fmt.Println("程序被終止") } return default: readString, err := reader.ReadString('\n') if err != nil || err == io.EOF { return } fmt.Print(readString) } } }(&wg) err = c.Start() wg.Wait() return err }
效果圖:
可以看到輸出了3次(1秒1次)之后程序就被終止了,確切的說是讀取輸出流的循環(huán)結(jié)束了。
執(zhí)行Python腳本(阻塞)
其實(shí)很簡單,只要python -u xxx.py
這樣執(zhí)行就可以了, -u參數(shù)
簡單的說就是python的輸出是有緩存的,-u會(huì)強(qiáng)制往標(biāo)準(zhǔn)流輸出,當(dāng)Python腳本阻塞的時(shí)候
也不會(huì)拿不到輸出!
其他
"bash" 和"-c",據(jù)我的觀察,這2個(gè)參數(shù)代表在當(dāng)前cmd窗口執(zhí)行,而不加這2個(gè)參數(shù),直接上shell的話,會(huì)啟動(dòng)一個(gè)新窗口,目前觀察是stdout拿不到數(shù)據(jù)。
仍有缺陷
上面的命令可以解決大部分問題,但是獲取不到stderr的信息,所以我們需要改造一下。
下面是輸出和錯(cuò)誤一并輸出的實(shí)時(shí)讀取,類似于jenkins那種。
package main ? import ( "bufio" "context" "fmt" "io" "os/exec" "sync" "time" ) ? func main() { ctx, cancel := context.WithCancel(context.Background()) go func(cancelFunc context.CancelFunc) { time.Sleep(3 * time.Second) cancelFunc() }(cancel) Command(ctx, "ping www.baidu.com") } ? func read(ctx context.Context, wg *sync.WaitGroup, std io.ReadCloser) { reader := bufio.NewReader(std) defer wg.Done() for { select { case <-ctx.Done(): return default: readString, err := reader.ReadString('\n') if err != nil || err == io.EOF { return } fmt.Print(readString) } } } ? func Command(ctx context.Context, cmd string) error { //c := exec.CommandContext(ctx, "cmd", "/C", cmd) // windows c := exec.CommandContext(ctx, "bash", "-c", cmd) // mac linux stdout, err := c.StdoutPipe() if err != nil { return err } stderr, err := c.StderrPipe() if err != nil { return err } var wg sync.WaitGroup // 因?yàn)橛?個(gè)任務(wù), 一個(gè)需要讀取stderr 另一個(gè)需要讀取stdout wg.Add(2) go read(ctx, &wg, stderr) go read(ctx, &wg, stdout) // 這里一定要用start,而不是run 詳情請看下面的圖 err = c.Start() // 等待任務(wù)結(jié)束 wg.Wait() return err }
windows輸出亂碼問題
參考資料:http://www.dbjr.com.cn/article/275967.htm
最后給一個(gè)解決windows亂碼的完整案例
需要下載golang.org/x/text/encoding/simplifiedchinese
package main ? import ( "bufio" "fmt" "io" "os/exec" "sync" "golang.org/x/text/encoding/simplifiedchinese" ) ? type Charset string ? const ( UTF8 ? = Charset("UTF-8") GB18030 = Charset("GB18030") ) ? func main() { // 執(zhí)行ping baidu的命令, 命令不會(huì)結(jié)束 Command("ping www.baidu.com") ? } ? func Command(cmd string) error { //c := exec.Command("cmd", "/C", cmd) // windows c := exec.Command("bash", "-c", cmd) // mac or linux stdout, err := c.StdoutPipe() if err != nil { return err } var wg sync.WaitGroup wg.Add(1) go func() { defer wg.Done() reader := bufio.NewReader(stdout) for { readString, err := reader.ReadString('\n') if err != nil || err == io.EOF { return } byte2String := ConvertByte2String([]byte(readString), "GB18030") fmt.Print(byte2String) } }() err = c.Start() wg.Wait() return err } ? func ConvertByte2String(byte []byte, charset Charset) string { var str string switch charset { case GB18030: var decodeBytes, _ = simplifiedchinese.GB18030.NewDecoder().Bytes(byte) str = string(decodeBytes) case UTF8: fallthrough default: str = string(byte) } return str }
概述
遠(yuǎn)程執(zhí)行命令有什么用?為什么要遠(yuǎn)程執(zhí)行命令? 如果你只有2,3臺(tái)服務(wù)器需要管理的時(shí)候,遠(yuǎn)程執(zhí)行命令確實(shí)沒有沒多大作用,你可以登錄到每臺(tái)服務(wù)器上去完成各種操作。 當(dāng)你的服務(wù)器大于3臺(tái)的時(shí)候,遠(yuǎn)程執(zhí)行的命令的方式就可以大大提高你的生產(chǎn)力了。
如果你有一個(gè)可以遠(yuǎn)程執(zhí)行命令的工具,那么就可以像操作單臺(tái)機(jī)器那樣操作多臺(tái)機(jī)器,機(jī)器越多,效率提高的越多。 遠(yuǎn)程執(zhí)行命令最常用的方法就是利用 SSH 協(xié)議,將命令發(fā)送到遠(yuǎn)程機(jī)器上執(zhí)行,并獲取返回結(jié)果。
本文介紹如何使用 golang 實(shí)現(xiàn)遠(yuǎn)程執(zhí)行命令。
一般命令
所謂一般命令,就是在一定時(shí)間內(nèi)會(huì)執(zhí)行完的命令。比如 grep, cat 等等。 執(zhí)行命令的步驟是:連接,執(zhí)行,獲取結(jié)果
連接
連接包含了認(rèn)證,可以使用 password 或者 sshkey 2種方式來認(rèn)證。下面的示例為了簡單,使用了密碼認(rèn)證的方式來完成連接。
import ( ? "fmt" "time" ? "golang.org/x/crypto/ssh" ) ? func connect(user, password, host string, port int) (*ssh.Session, error) { ? var ( ? auth ? ? ? ? []ssh.AuthMethod ? addr ? ? ? ? string ? clientConfig *ssh.ClientConfig ? client ? ? ? *ssh.Client ? session ? ? *ssh.Session ? err ? ? ? ? error ) // get auth method auth = make([]ssh.AuthMethod, 0) auth = append(auth, ssh.Password(password)) ? clientConfig = &ssh.ClientConfig{ ? User: ? user, ? Auth: ? auth, ? Timeout: 30 * time.Second, } ? // connet to ssh addr = fmt.Sprintf("%s:%d", host, port) ? if client, err = ssh.Dial("tcp", addr, clientConfig); err != nil { ? return nil, err } ? // create session if session, err = client.NewSession(); err != nil { ? return nil, err } ? return session, nil }
連接的方法很簡單,只要提供登錄主機(jī)的 用戶*, *密碼*, *主機(jī)名或者IP*, *SSH端口
執(zhí)行,命令獲取結(jié)果
連接成功后,執(zhí)行命令很簡單
import ( ? "fmt" "log" "os" "time" ? "golang.org/x/crypto/ssh" ) ? func main() { ? session, err := connect("root", "xxxxx", "127.0.0.1", 22) if err != nil { ? log.Fatal(err) } defer session.Close() ? session.Run("ls /; ls /abc") }
上面代碼運(yùn)行之后,雖然命令正常執(zhí)行了,但是沒有正常輸出的結(jié)果,也沒有異常輸出的結(jié)果。 要想顯示結(jié)果,需要將 session 的 Stdout 和 Stderr 重定向 修改 func main 為如下:
func main() { ? session, err := connect("root", "xxxxx", "127.0.0.1", 22) if err != nil { ? log.Fatal(err) } defer session.Close() ? session.Stdout = os.Stdout session.Stderr = os.Stderr session.Run("ls /; ls /abc") }
這樣就能在屏幕上顯示正常,異常的信息了。
交互式命令
上面的方式無法遠(yuǎn)程執(zhí)行交互式命令,比如 top , 遠(yuǎn)程編輯一個(gè)文件,比如 vi /etc/nginx/nginx.conf 如果要支持交互式的命令,需要當(dāng)前的terminal來接管遠(yuǎn)程的 PTY。
func main() { ? session, err := connect("root", "olordjesus", "dockers.iotalabs.io", 2210) if err != nil { ? log.Fatal(err) } defer session.Close() ? fd := int(os.Stdin.Fd()) oldState, err := terminal.MakeRaw(fd) if err != nil { ? panic(err) } defer terminal.Restore(fd, oldState) ? // excute command session.Stdout = os.Stdout session.Stderr = os.Stderr session.Stdin = os.Stdin ? termWidth, termHeight, err := terminal.GetSize(fd) if err != nil { ? panic(err) } ? // Set up terminal modes modes := ssh.TerminalModes{ ? ssh.ECHO: ? ? ? ? 1, ? ? // enable echoing ? ssh.TTY_OP_ISPEED: 14400, // input speed = 14.4kbaud ? ssh.TTY_OP_OSPEED: 14400, // output speed = 14.4kbaud } ? // Request pseudo terminal if err := session.RequestPty("xterm-256color", termHeight, termWidth, modes); err != nil { ? log.Fatal(err) } ? session.Run("top") }
這樣就可以執(zhí)行交互式命令了,比如上面的 top 也可以通過 vi /etc/nginx/nignx.conf 之類的命令來遠(yuǎn)程編輯文件。
到此這篇關(guān)于golang調(diào)用shell命令(實(shí)時(shí)輸出,終止)的文章就介紹到這了,更多相關(guān)golang調(diào)用shell命令內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
SingleFlight模式的Go并發(fā)編程學(xué)習(xí)
這篇文章主要為大家介紹了SingleFlight模式的Go并發(fā)編程學(xué)習(xí),有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-04-04詳解Go語言中如何創(chuàng)建Cron定時(shí)任務(wù)
Cron是一個(gè)強(qiáng)大的定時(shí)任務(wù)調(diào)度庫,它允許開發(fā)者在Go應(yīng)用中方便地設(shè)置和管理定時(shí)任務(wù),本文將結(jié)合具體案例,詳細(xì)介紹Cron在Go語言中的用法,需要的可以參考下2024-10-10Go 協(xié)程超時(shí)控制的實(shí)現(xiàn)
本文主要介紹了Go 協(xié)程超時(shí)控制的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2021-08-08Go語言開發(fā)瀏覽器視頻流rtsp轉(zhuǎn)webrtc播放
這篇文章主要為大家介紹了Go語言開發(fā)瀏覽器視頻流rtsp轉(zhuǎn)webrtc播放的過程示例,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-04-04深入學(xué)習(xí)Golang并發(fā)編程必備利器之sync.Cond類型
Go?語言的?sync?包提供了一系列同步原語,其中?sync.Cond?就是其中之一。本文將深入探討?sync.Cond?的實(shí)現(xiàn)原理和使用方法,幫助大家更好地理解和應(yīng)用?sync.Cond,需要的可以參考一下2023-05-05