golang調用shell命令(實時輸出,終止)
背景
是這樣的,最近在研究一個定時任務系統(tǒng)的改造,可能有點像jenkins做到的那種吧。
可以輸入shell命令,也可以執(zhí)行py腳本等等,相比之前來說,也要能夠及時停止!
但是遇到了這么個問題,golang執(zhí)行py腳本的時候獲取不到腳本的輸出。
首先來看看go里面怎么運行shell腳本吧,我比較喜歡執(zhí)行全部命令。
普通用法(一次性獲取所有輸出)
package main ? import ( "fmt" "os/exec" ) ? func main() { ? ?Command("ls") } ? // 這里為了簡化,我省去了stderr和其他信息 func Command(cmd string) error { c := exec.Command("bash", "-c", cmd) ? ?// 此處是windows版本 ? ?// c := exec.Command("cmd", "/C", cmd) output, err := c.CombinedOutput() fmt.Println(string(output)) return err }
可以看到,當前命令執(zhí)行的是輸出當前目錄下的文件/文件夾
實時顯示
效果圖:
package main ? import ( "bufio" "fmt" "io" "os/exec" "sync" ) ? func main() { // 執(zhí)行ping baidu的命令, 命令不會結束 Command("ping www.baidu.com") ? } ? func Command(cmd string) error { //c := exec.Command("cmd", "/C", cmd) // windows c := exec.Command("bash", "-c", cmd) ?// mac or linux stdout, err := c.StdoutPipe() if err != nil { return err } var wg sync.WaitGroup wg.Add(1) go func() { defer wg.Done() reader := bufio.NewReader(stdout) for { readString, err := reader.ReadString('\n') if err != nil || err == io.EOF { return } fmt.Print(readString) } }() err = c.Start() wg.Wait() return err }
可關閉+實時輸出
package main ? import ( "bufio" "context" "fmt" "io" "os/exec" "sync" "time" ) ? func main() { ctx, cancel := context.WithCancel(context.Background()) go func(cancelFunc context.CancelFunc) { time.Sleep(3 * time.Second) cancelFunc() }(cancel) Command(ctx, "ping www.baidu.com") } ? func Command(ctx context.Context, cmd string) error { // c := exec.CommandContext(ctx, "cmd", "/C", cmd) ? ?c := exec.CommandContext(ctx, "bash", "-c", cmd) // mac linux stdout, err := c.StdoutPipe() if err != nil { return err } var wg sync.WaitGroup wg.Add(1) go func(wg *sync.WaitGroup) { defer wg.Done() reader := bufio.NewReader(stdout) for { // 其實這段去掉程序也會正常運行,只是我們就不知道到底什么時候Command被停止了,而且如果我們需要實時給web端展示輸出的話,這里可以作為依據(jù) 取消展示 select { // 檢測到ctx.Done()之后停止讀取 case <-ctx.Done(): if ctx.Err() != nil { fmt.Printf("程序出現(xiàn)錯誤: %q", ctx.Err()) } else { fmt.Println("程序被終止") } return default: readString, err := reader.ReadString('\n') if err != nil || err == io.EOF { return } fmt.Print(readString) } } }(&wg) err = c.Start() wg.Wait() return err }
效果圖:
可以看到輸出了3次(1秒1次)之后程序就被終止了,確切的說是讀取輸出流的循環(huán)結束了。
執(zhí)行Python腳本(阻塞)
其實很簡單,只要python -u xxx.py
這樣執(zhí)行就可以了, -u參數(shù)
簡單的說就是python的輸出是有緩存的,-u會強制往標準流輸出,當Python腳本阻塞的時候
也不會拿不到輸出!
其他
"bash" 和"-c",據(jù)我的觀察,這2個參數(shù)代表在當前cmd窗口執(zhí)行,而不加這2個參數(shù),直接上shell的話,會啟動一個新窗口,目前觀察是stdout拿不到數(shù)據(jù)。
仍有缺陷
上面的命令可以解決大部分問題,但是獲取不到stderr的信息,所以我們需要改造一下。
下面是輸出和錯誤一并輸出的實時讀取,類似于jenkins那種。
package main ? import ( "bufio" "context" "fmt" "io" "os/exec" "sync" "time" ) ? func main() { ctx, cancel := context.WithCancel(context.Background()) go func(cancelFunc context.CancelFunc) { time.Sleep(3 * time.Second) cancelFunc() }(cancel) Command(ctx, "ping www.baidu.com") } ? func read(ctx context.Context, wg *sync.WaitGroup, std io.ReadCloser) { reader := bufio.NewReader(std) defer wg.Done() for { select { case <-ctx.Done(): return default: readString, err := reader.ReadString('\n') if err != nil || err == io.EOF { return } fmt.Print(readString) } } } ? func Command(ctx context.Context, cmd string) error { //c := exec.CommandContext(ctx, "cmd", "/C", cmd) // windows c := exec.CommandContext(ctx, "bash", "-c", cmd) // mac linux stdout, err := c.StdoutPipe() if err != nil { return err } stderr, err := c.StderrPipe() if err != nil { return err } var wg sync.WaitGroup // 因為有2個任務, 一個需要讀取stderr 另一個需要讀取stdout wg.Add(2) go read(ctx, &wg, stderr) go read(ctx, &wg, stdout) // 這里一定要用start,而不是run 詳情請看下面的圖 err = c.Start() // 等待任務結束 wg.Wait() return err }
windows輸出亂碼問題
參考資料:http://www.dbjr.com.cn/article/275967.htm
最后給一個解決windows亂碼的完整案例
需要下載golang.org/x/text/encoding/simplifiedchinese
package main ? import ( "bufio" "fmt" "io" "os/exec" "sync" "golang.org/x/text/encoding/simplifiedchinese" ) ? type Charset string ? const ( UTF8 ? = Charset("UTF-8") GB18030 = Charset("GB18030") ) ? func main() { // 執(zhí)行ping baidu的命令, 命令不會結束 Command("ping www.baidu.com") ? } ? func Command(cmd string) error { //c := exec.Command("cmd", "/C", cmd) // windows c := exec.Command("bash", "-c", cmd) // mac or linux stdout, err := c.StdoutPipe() if err != nil { return err } var wg sync.WaitGroup wg.Add(1) go func() { defer wg.Done() reader := bufio.NewReader(stdout) for { readString, err := reader.ReadString('\n') if err != nil || err == io.EOF { return } byte2String := ConvertByte2String([]byte(readString), "GB18030") fmt.Print(byte2String) } }() err = c.Start() wg.Wait() return err } ? func ConvertByte2String(byte []byte, charset Charset) string { var str string switch charset { case GB18030: var decodeBytes, _ = simplifiedchinese.GB18030.NewDecoder().Bytes(byte) str = string(decodeBytes) case UTF8: fallthrough default: str = string(byte) } return str }
概述
遠程執(zhí)行命令有什么用?為什么要遠程執(zhí)行命令? 如果你只有2,3臺服務器需要管理的時候,遠程執(zhí)行命令確實沒有沒多大作用,你可以登錄到每臺服務器上去完成各種操作。 當你的服務器大于3臺的時候,遠程執(zhí)行的命令的方式就可以大大提高你的生產(chǎn)力了。
如果你有一個可以遠程執(zhí)行命令的工具,那么就可以像操作單臺機器那樣操作多臺機器,機器越多,效率提高的越多。 遠程執(zhí)行命令最常用的方法就是利用 SSH 協(xié)議,將命令發(fā)送到遠程機器上執(zhí)行,并獲取返回結果。
本文介紹如何使用 golang 實現(xiàn)遠程執(zhí)行命令。
一般命令
所謂一般命令,就是在一定時間內會執(zhí)行完的命令。比如 grep, cat 等等。 執(zhí)行命令的步驟是:連接,執(zhí)行,獲取結果
連接
連接包含了認證,可以使用 password 或者 sshkey 2種方式來認證。下面的示例為了簡單,使用了密碼認證的方式來完成連接。
import ( ? "fmt" "time" ? "golang.org/x/crypto/ssh" ) ? func connect(user, password, host string, port int) (*ssh.Session, error) { ? var ( ? auth ? ? ? ? []ssh.AuthMethod ? addr ? ? ? ? string ? clientConfig *ssh.ClientConfig ? client ? ? ? *ssh.Client ? session ? ? *ssh.Session ? err ? ? ? ? error ) // get auth method auth = make([]ssh.AuthMethod, 0) auth = append(auth, ssh.Password(password)) ? clientConfig = &ssh.ClientConfig{ ? User: ? user, ? Auth: ? auth, ? Timeout: 30 * time.Second, } ? // connet to ssh addr = fmt.Sprintf("%s:%d", host, port) ? if client, err = ssh.Dial("tcp", addr, clientConfig); err != nil { ? return nil, err } ? // create session if session, err = client.NewSession(); err != nil { ? return nil, err } ? return session, nil }
連接的方法很簡單,只要提供登錄主機的 用戶*, *密碼*, *主機名或者IP*, *SSH端口
執(zhí)行,命令獲取結果
連接成功后,執(zhí)行命令很簡單
import ( ? "fmt" "log" "os" "time" ? "golang.org/x/crypto/ssh" ) ? func main() { ? session, err := connect("root", "xxxxx", "127.0.0.1", 22) if err != nil { ? log.Fatal(err) } defer session.Close() ? session.Run("ls /; ls /abc") }
上面代碼運行之后,雖然命令正常執(zhí)行了,但是沒有正常輸出的結果,也沒有異常輸出的結果。 要想顯示結果,需要將 session 的 Stdout 和 Stderr 重定向 修改 func main 為如下:
func main() { ? session, err := connect("root", "xxxxx", "127.0.0.1", 22) if err != nil { ? log.Fatal(err) } defer session.Close() ? session.Stdout = os.Stdout session.Stderr = os.Stderr session.Run("ls /; ls /abc") }
這樣就能在屏幕上顯示正常,異常的信息了。
交互式命令
上面的方式無法遠程執(zhí)行交互式命令,比如 top , 遠程編輯一個文件,比如 vi /etc/nginx/nginx.conf 如果要支持交互式的命令,需要當前的terminal來接管遠程的 PTY。
func main() { ? session, err := connect("root", "olordjesus", "dockers.iotalabs.io", 2210) if err != nil { ? log.Fatal(err) } defer session.Close() ? fd := int(os.Stdin.Fd()) oldState, err := terminal.MakeRaw(fd) if err != nil { ? panic(err) } defer terminal.Restore(fd, oldState) ? // excute command session.Stdout = os.Stdout session.Stderr = os.Stderr session.Stdin = os.Stdin ? termWidth, termHeight, err := terminal.GetSize(fd) if err != nil { ? panic(err) } ? // Set up terminal modes modes := ssh.TerminalModes{ ? ssh.ECHO: ? ? ? ? 1, ? ? // enable echoing ? ssh.TTY_OP_ISPEED: 14400, // input speed = 14.4kbaud ? ssh.TTY_OP_OSPEED: 14400, // output speed = 14.4kbaud } ? // Request pseudo terminal if err := session.RequestPty("xterm-256color", termHeight, termWidth, modes); err != nil { ? log.Fatal(err) } ? session.Run("top") }
這樣就可以執(zhí)行交互式命令了,比如上面的 top 也可以通過 vi /etc/nginx/nignx.conf 之類的命令來遠程編輯文件。
到此這篇關于golang調用shell命令(實時輸出,終止)的文章就介紹到這了,更多相關golang調用shell命令內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
相關文章
深入學習Golang并發(fā)編程必備利器之sync.Cond類型
Go?語言的?sync?包提供了一系列同步原語,其中?sync.Cond?就是其中之一。本文將深入探討?sync.Cond?的實現(xiàn)原理和使用方法,幫助大家更好地理解和應用?sync.Cond,需要的可以參考一下2023-05-05