golang調(diào)用shell命令(實(shí)時(shí)輸出,終止)
背景
是這樣的，最近在研究一個(gè)定時(shí)任務(wù)系統(tǒng)的改造，可能有點(diǎn)像jenkins做到的那種吧。
可以輸入shell命令，也可以執(zhí)行py腳本等等，相比之前來說，也要能夠及時(shí)停止！
但是遇到了這么個(gè)問題，golang執(zhí)行py腳本的時(shí)候獲取不到腳本的輸出。
首先來看看go里面怎么運(yùn)行shell腳本吧，我比較喜歡執(zhí)行全部命令。
普通用法（一次性獲取所有輸出）
package main
?
import (
"fmt"
"os/exec"
)
?
func main() {
? ?Command("ls")
}
?
// 這里為了簡化，我省去了stderr和其他信息
func Command(cmd string) error {
c := exec.Command("bash", "-c", cmd)
? ?// 此處是windows版本
? ?// c := exec.Command("cmd", "/C", cmd)
output, err := c.CombinedOutput()
fmt.Println(string(output))
return err
}可以看到，當(dāng)前命令執(zhí)行的是輸出當(dāng)前目錄下的文件/文件夾
實(shí)時(shí)顯示
效果圖:
package main
?
import (
"bufio"
"fmt"
"io"
"os/exec"
"sync"
)
?
func main() {
// 執(zhí)行ping baidu的命令, 命令不會(huì)結(jié)束
Command("ping www.baidu.com")
?
}
?
func Command(cmd string) error {
//c := exec.Command("cmd", "/C", cmd) // windows
c := exec.Command("bash", "-c", cmd) ?// mac or linux
stdout, err := c.StdoutPipe()
if err != nil {
return err
}
var wg sync.WaitGroup
wg.Add(1)
go func() {
defer wg.Done()
reader := bufio.NewReader(stdout)
for {
readString, err := reader.ReadString('\n')
if err != nil || err == io.EOF {
return
}
fmt.Print(readString)
}
}()
err = c.Start()
wg.Wait()
return err
}可關(guān)閉+實(shí)時(shí)輸出
package main
?
import (
"bufio"
"context"
"fmt"
"io"
"os/exec"
"sync"
"time"
)
?
func main() {
ctx, cancel := context.WithCancel(context.Background())
go func(cancelFunc context.CancelFunc) {
time.Sleep(3 * time.Second)
cancelFunc()
}(cancel)
Command(ctx, "ping www.baidu.com")
}
?
func Command(ctx context.Context, cmd string) error {
// c := exec.CommandContext(ctx, "cmd", "/C", cmd)
? ?c := exec.CommandContext(ctx, "bash", "-c", cmd) // mac linux
stdout, err := c.StdoutPipe()
if err != nil {
return err
}
var wg sync.WaitGroup
wg.Add(1)
go func(wg *sync.WaitGroup) {
defer wg.Done()
reader := bufio.NewReader(stdout)
for {
// 其實(shí)這段去掉程序也會(huì)正常運(yùn)行，只是我們就不知道到底什么時(shí)候Command被停止了，而且如果我們需要實(shí)時(shí)給web端展示輸出的話，這里可以作為依據(jù) 取消展示
select {
// 檢測到ctx.Done()之后停止讀取
case <-ctx.Done():
if ctx.Err() != nil {
fmt.Printf("程序出現(xiàn)錯(cuò)誤: %q", ctx.Err())
} else {
fmt.Println("程序被終止")
}
return
default:
readString, err := reader.ReadString('\n')
if err != nil || err == io.EOF {
return
}
fmt.Print(readString)
}
}
}(&wg)
err = c.Start()
wg.Wait()
return err
}效果圖:
可以看到輸出了3次（1秒1次）之后程序就被終止了，確切的說是讀取輸出流的循環(huán)結(jié)束了。
執(zhí)行Python腳本(阻塞)
其實(shí)很簡單，只要python -u xxx.py這樣執(zhí)行就可以了, -u參數(shù)
簡單的說就是python的輸出是有緩存的，-u會(huì)強(qiáng)制往標(biāo)準(zhǔn)流輸出，當(dāng)Python腳本阻塞的時(shí)候
也不會(huì)拿不到輸出！
其他
"bash" 和"-c"，據(jù)我的觀察，這2個(gè)參數(shù)代表在當(dāng)前cmd窗口執(zhí)行，而不加這2個(gè)參數(shù)，直接上shell的話，會(huì)啟動(dòng)一個(gè)新窗口，目前觀察是stdout拿不到數(shù)據(jù)。
仍有缺陷
上面的命令可以解決大部分問題，但是獲取不到stderr的信息，所以我們需要改造一下。
下面是輸出和錯(cuò)誤一并輸出的實(shí)時(shí)讀取，類似于jenkins那種。
package main
?
import (
"bufio"
"context"
"fmt"
"io"
"os/exec"
"sync"
"time"
)
?
func main() {
ctx, cancel := context.WithCancel(context.Background())
go func(cancelFunc context.CancelFunc) {
time.Sleep(3 * time.Second)
cancelFunc()
}(cancel)
Command(ctx, "ping www.baidu.com")
}
?
func read(ctx context.Context, wg *sync.WaitGroup, std io.ReadCloser) {
reader := bufio.NewReader(std)
defer wg.Done()
for {
select {
case <-ctx.Done():
return
default:
readString, err := reader.ReadString('\n')
if err != nil || err == io.EOF {
return
}
fmt.Print(readString)
}
}
}
?
func Command(ctx context.Context, cmd string) error {
//c := exec.CommandContext(ctx, "cmd", "/C", cmd) // windows
c := exec.CommandContext(ctx, "bash", "-c", cmd) // mac linux
stdout, err := c.StdoutPipe()
if err != nil {
return err
}
stderr, err := c.StderrPipe()
if err != nil {
return err
}
var wg sync.WaitGroup
// 因?yàn)橛?個(gè)任務(wù), 一個(gè)需要讀取stderr 另一個(gè)需要讀取stdout
wg.Add(2)
go read(ctx, &wg, stderr)
go read(ctx, &wg, stdout)
// 這里一定要用start,而不是run 詳情請看下面的圖
err = c.Start()
// 等待任務(wù)結(jié)束
wg.Wait()
return err
}
windows輸出亂碼問題
參考資料：http://www.dbjr.com.cn/article/275967.htm
最后給一個(gè)解決windows亂碼的完整案例
需要下載golang.org/x/text/encoding/simplifiedchinese
package main
?
import (
"bufio"
"fmt"
"io"
"os/exec"
"sync"
"golang.org/x/text/encoding/simplifiedchinese"
)
?
type Charset string
?
const (
UTF8 ? = Charset("UTF-8")
GB18030 = Charset("GB18030")
)
?
func main() {
// 執(zhí)行ping baidu的命令, 命令不會(huì)結(jié)束
Command("ping www.baidu.com")
?
}
?
func Command(cmd string) error {
//c := exec.Command("cmd", "/C", cmd) // windows
c := exec.Command("bash", "-c", cmd) // mac or linux
stdout, err := c.StdoutPipe()
if err != nil {
return err
}
var wg sync.WaitGroup
wg.Add(1)
go func() {
defer wg.Done()
reader := bufio.NewReader(stdout)
for {
readString, err := reader.ReadString('\n')
if err != nil || err == io.EOF {
return
}
byte2String := ConvertByte2String([]byte(readString), "GB18030")
fmt.Print(byte2String)
}
}()
err = c.Start()
wg.Wait()
return err
}
?
func ConvertByte2String(byte []byte, charset Charset) string {
var str string
switch charset {
case GB18030:
var decodeBytes, _ = simplifiedchinese.GB18030.NewDecoder().Bytes(byte)
str = string(decodeBytes)
case UTF8:
fallthrough
default:
str = string(byte)
}
return str
}概述
遠(yuǎn)程執(zhí)行命令有什么用？為什么要遠(yuǎn)程執(zhí)行命令？ 如果你只有2，3臺(tái)服務(wù)器需要管理的時(shí)候，遠(yuǎn)程執(zhí)行命令確實(shí)沒有沒多大作用，你可以登錄到每臺(tái)服務(wù)器上去完成各種操作。 當(dāng)你的服務(wù)器大于3臺(tái)的時(shí)候，遠(yuǎn)程執(zhí)行的命令的方式就可以大大提高你的生產(chǎn)力了。
如果你有一個(gè)可以遠(yuǎn)程執(zhí)行命令的工具，那么就可以像操作單臺(tái)機(jī)器那樣操作多臺(tái)機(jī)器，機(jī)器越多，效率提高的越多。 遠(yuǎn)程執(zhí)行命令最常用的方法就是利用 SSH 協(xié)議，將命令發(fā)送到遠(yuǎn)程機(jī)器上執(zhí)行，并獲取返回結(jié)果。
本文介紹如何使用 golang 實(shí)現(xiàn)遠(yuǎn)程執(zhí)行命令。
一般命令
所謂一般命令，就是在一定時(shí)間內(nèi)會(huì)執(zhí)行完的命令。比如 grep, cat 等等。 執(zhí)行命令的步驟是：連接，執(zhí)行，獲取結(jié)果
連接
連接包含了認(rèn)證，可以使用 password 或者 sshkey 2種方式來認(rèn)證。下面的示例為了簡單，使用了密碼認(rèn)證的方式來完成連接。
import ( ?
"fmt"
"time"
?
"golang.org/x/crypto/ssh"
)
?
func connect(user, password, host string, port int) (*ssh.Session, error) { ?
var (
? auth ? ? ? ? []ssh.AuthMethod
? addr ? ? ? ? string
? clientConfig *ssh.ClientConfig
? client ? ? ? *ssh.Client
? session ? ? *ssh.Session
? err ? ? ? ? error
)
// get auth method
auth = make([]ssh.AuthMethod, 0)
auth = append(auth, ssh.Password(password))
?
clientConfig = &ssh.ClientConfig{
? User: ? user,
? Auth: ? auth,
? Timeout: 30 * time.Second,
}
?
// connet to ssh
addr = fmt.Sprintf("%s:%d", host, port)
?
if client, err = ssh.Dial("tcp", addr, clientConfig); err != nil {
? return nil, err
}
?
// create session
if session, err = client.NewSession(); err != nil {
? return nil, err
}
?
return session, nil
}連接的方法很簡單，只要提供登錄主機(jī)的 用戶*， *密碼*， *主機(jī)名或者IP*， *SSH端口
執(zhí)行，命令獲取結(jié)果
連接成功后，執(zhí)行命令很簡單
import ( ?
"fmt"
"log"
"os"
"time"
?
"golang.org/x/crypto/ssh"
)
?
func main() { ?
session, err := connect("root", "xxxxx", "127.0.0.1", 22)
if err != nil {
? log.Fatal(err)
}
defer session.Close()
?
session.Run("ls /; ls /abc")
}上面代碼運(yùn)行之后，雖然命令正常執(zhí)行了，但是沒有正常輸出的結(jié)果，也沒有異常輸出的結(jié)果。 要想顯示結(jié)果，需要將 session 的 Stdout 和 Stderr 重定向 修改 func main 為如下：
func main() { ?
session, err := connect("root", "xxxxx", "127.0.0.1", 22)
if err != nil {
? log.Fatal(err)
}
defer session.Close()
?
session.Stdout = os.Stdout
session.Stderr = os.Stderr
session.Run("ls /; ls /abc")
}這樣就能在屏幕上顯示正常，異常的信息了。
交互式命令
上面的方式無法遠(yuǎn)程執(zhí)行交互式命令，比如 top ， 遠(yuǎn)程編輯一個(gè)文件，比如 vi /etc/nginx/nginx.conf 如果要支持交互式的命令，需要當(dāng)前的terminal來接管遠(yuǎn)程的 PTY。
func main() { ?
session, err := connect("root", "olordjesus", "dockers.iotalabs.io", 2210)
if err != nil {
? log.Fatal(err)
}
defer session.Close()
?
fd := int(os.Stdin.Fd())
oldState, err := terminal.MakeRaw(fd)
if err != nil {
? panic(err)
}
defer terminal.Restore(fd, oldState)
?
// excute command
session.Stdout = os.Stdout
session.Stderr = os.Stderr
session.Stdin = os.Stdin
?
termWidth, termHeight, err := terminal.GetSize(fd)
if err != nil {
? panic(err)
}
?
// Set up terminal modes
modes := ssh.TerminalModes{
? ssh.ECHO: ? ? ? ? 1, ? ? // enable echoing
? ssh.TTY_OP_ISPEED: 14400, // input speed = 14.4kbaud
? ssh.TTY_OP_OSPEED: 14400, // output speed = 14.4kbaud
}
?
// Request pseudo terminal
if err := session.RequestPty("xterm-256color", termHeight, termWidth, modes); err != nil {
? log.Fatal(err)
}
?
session.Run("top")
}這樣就可以執(zhí)行交互式命令了，比如上面的 top 也可以通過 vi /etc/nginx/nignx.conf 之類的命令來遠(yuǎn)程編輯文件。
到此這篇關(guān)于golang調(diào)用shell命令(實(shí)時(shí)輸出,終止)的文章就介紹到這了,更多相關(guān)golang調(diào)用shell命令內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
假設(shè)現(xiàn)在有一個(gè)文本文件，我們需要?jiǎng)h除文件中亂碼的行。我們可以使用go的os庫來處理文件，遍歷整個(gè)文件然后將除過亂碼的行寫入一個(gè)新文件，以此來實(shí)現(xiàn)我們的需求，這篇文章主要介紹了Go語言刪除文本文件中的指定行,需要的朋友可以參考下2023-12-12
SingleFlight模式的Go并發(fā)編程學(xué)習(xí)
這篇文章主要為大家介紹了SingleFlight模式的Go并發(fā)編程學(xué)習(xí)，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-04-04
這篇文章主要介紹了Go?GORM事務(wù)詳細(xì)介紹，GORM?會(huì)在事務(wù)里執(zhí)行寫入操作創(chuàng)建、更新、刪除，具體詳細(xì)介紹需要的朋友可以參考下面文章的簡單介紹2022-07-07
我們知道,Go語言從設(shè)計(jì)伊始,就不支持經(jīng)典的面向?qū)ο笳Z法元素,但?Go?語言仍保留了名為“方法（method）”的語法元素,下面我們就來帶大家深入了解一下Go語言中的方法吧2023-11-11
詳解Go語言中如何創(chuàng)建Cron定時(shí)任務(wù)
Cron是一個(gè)強(qiáng)大的定時(shí)任務(wù)調(diào)度庫,它允許開發(fā)者在Go應(yīng)用中方便地設(shè)置和管理定時(shí)任務(wù),本文將結(jié)合具體案例,詳細(xì)介紹Cron在Go語言中的用法,需要的可以參考下2024-10-10
Go 協(xié)程超時(shí)控制的實(shí)現(xiàn)
本文主要介紹了Go 協(xié)程超時(shí)控制的實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2021-08-08
Go語言開發(fā)瀏覽器視頻流rtsp轉(zhuǎn)webrtc播放
這篇文章主要為大家介紹了Go語言開發(fā)瀏覽器視頻流rtsp轉(zhuǎn)webrtc播放的過程示例，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-04-04
這篇文章主要介紹了Golang slice切片操作之切片的追加、刪除、插入等，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-11-11
這篇文章主要介紹了Go語言中的方法定義用法,實(shí)例分析了方法的定義及使用技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2015-02-02
深入學(xué)習(xí)Golang并發(fā)編程必備利器之sync.Cond類型
Go?語言的?sync?包提供了一系列同步原語，其中?sync.Cond?就是其中之一。本文將深入探討?sync.Cond?的實(shí)現(xiàn)原理和使用方法，幫助大家更好地理解和應(yīng)用?sync.Cond，需要的可以參考一下2023-05-05