利用Go語言快速實現(xiàn)一個極簡任務(wù)調(diào)度系統(tǒng)
引子
任務(wù)調(diào)度(Task Scheduling)是很多軟件系統(tǒng)中的重要組成部分,字面上的意思是按照一定要求分配運行一些通常時間較長的腳本或程序。在爬蟲管理平臺 Crawlab 中,任務(wù)調(diào)度是其中的核心模塊,相信不少朋友會好奇如何編寫一個任務(wù)調(diào)度系統(tǒng)。本篇文章會教讀者用 Go 語言編寫一個非常簡單的任務(wù)調(diào)度系統(tǒng)。
思路
我們首先理清一下思路,開發(fā)最小化任務(wù)調(diào)度器需要什么。
- 交互界面(API)
- 定時任務(wù)(Cron)
- 任務(wù)執(zhí)行(Execute Tasks)
整個流程如下:
我們通過 API 創(chuàng)建定時任務(wù),執(zhí)行器根據(jù)定時任務(wù)標(biāo)準(zhǔn)定期執(zhí)行腳本。
實戰(zhàn)
交互界面
首先我們來搭個架子。在項目目錄下創(chuàng)建一個 main.go
文件,并輸入以下內(nèi)容。其中 gin
是非常流行的 Go 語言 API 引擎。
package main ? import ( "fmt" "github.com/gin-gonic/gin" "os" ) ? func main() { // api engine app := gin.New() ? // api routes app.GET("/jobs", GetJobs) app.POST("/jobs", AddJob) app.DELETE("/jobs", DeleteJob) ? // run api on port 9092 if err := app.Run(":9092"); err != nil { _, err = fmt.Fprintln(os.Stderr, err) os.Exit(1) } }
然后添加 api.go
文件,輸入以下內(nèi)容,注意,這里沒有任何代碼實現(xiàn),只是加入了占位區(qū)域。
package main ? import "github.com/gin-gonic/gin" ? func GetJobs(c *gin.Context) { // TODO: implementation here } ? func AddJob(c *gin.Context) { // TODO: implementation here } ? func DeleteJob(c *gin.Context) { // TODO: implementation here }
定時任務(wù)
然后是任務(wù)調(diào)度的核心,定時任務(wù)。這里我們使用 robfig/cron,Go 語言比較流行的定時任務(wù)庫。
現(xiàn)在創(chuàng)建 cron.go
文件,輸入以下內(nèi)容。其中 Cron
就是 robfig/cron
庫中的 Cron
類生成的實例。
package main ? import "github.com/robfig/cron" ? func init() { // start to run Cron.Run() } ? // Cron create a new cron.Cron instance var Cron = cron.New()
現(xiàn)在創(chuàng)建好了主要定時任務(wù)實例,就可以將核心邏輯添加在剛才的 API 占位區(qū)域了。
同樣是 api.go
,將核心代碼添加進來。
package main ? import ( "github.com/gin-gonic/gin" "github.com/robfig/cron/v3" "net/http" "strconv" ) ? func GetJobs(c *gin.Context) { // return a list of cron job entries var results []map[string]interface{} for _, e := range Cron.Entries() { results = append(results, map[string]interface{}{ "id": e.ID, "next": e.Next, }) } c.JSON(http.StatusOK, Cron.Entries()) } ? func AddJob(c *gin.Context) { // post JSON payload var payload struct { Cron string `json:"cron"` Exec string `json:"exec"` } if err := c.ShouldBindJSON(&payload); err != nil { c.AbortWithStatus(http.StatusBadRequest) return } ? // add cron job eid, err := Cron.AddFunc(payload.Cron, func() { // TODO: implementation here }) if err != nil { c.AbortWithStatusJSON(http.StatusInternalServerError, map[string]interface{}{ "error": err.Error(), }) return } ? c.AbortWithStatusJSON(http.StatusOK, map[string]interface{}{ "id": eid, }) } ? func DeleteJob(c *gin.Context) { // cron job entry id id := c.Param("id") eid, err := strconv.Atoi(id) if err != nil { c.AbortWithStatus(http.StatusBadRequest) return } ? // remove cron job Cron.Remove(cron.EntryID(eid)) ? c.AbortWithStatus(http.StatusOK) }
在這段代碼中,我們實現(xiàn)了大部分邏輯,只在 AddJob
的 Cron.AddFunc
中第二個參數(shù)里,剩下最后一部分執(zhí)行任務(wù)的代碼。下面將來實現(xiàn)一下。
任務(wù)執(zhí)行
現(xiàn)在需要添加任務(wù)執(zhí)行的代碼邏輯,咱們創(chuàng)建 exec.go
文件,輸入以下內(nèi)容。這里我們用到了 Go 語言內(nèi)置的 shell 運行管理庫 os/exec
,可以執(zhí)行任何 shell 命令。
package main ? import ( "fmt" "os" "os/exec" "strings" ) ? func ExecuteTask(execCmd string) { // execute command string parts, delimited by space execParts := strings.Split(execCmd, " ") ? // executable name execName := execParts[0] ? // execute command parameters execParams := strings.Join(execParts[1:], " ") ? // execute command instance cmd := exec.Command(execName, execParams) ? // run execute command instance if err := cmd.Run(); err != nil { _, err = fmt.Fprintln(os.Stderr, err) fmt.Println(err.Error()) } }
好了,現(xiàn)在我們將這部分執(zhí)行代碼邏輯放到之前的占位區(qū)域中。
... // add cron job eid, _ := Cron.AddFunc(payload.Cron, func() { ExecuteTask(payload.Exec) }) ...
代碼效果
OK,大功告成!現(xiàn)在我們可以試試運行這個極簡的任務(wù)調(diào)度器了。
在命令行中敲入 go run .
,API 引擎就啟動起來了。
[GIN-debug] [WARNING] Running in "debug" mode. Switch to "release" mode in production. - using env: export GIN_MODE=release - using code: gin.SetMode(gin.ReleaseMode) ? [GIN-debug] GET /jobs --> main.GetJobs (1 handlers) [GIN-debug] POST /jobs --> main.AddJob (1 handlers) [GIN-debug] DELETE /jobs/:id --> main.DeleteJob (1 handlers) [GIN-debug] [WARNING] You trusted all proxies, this is NOT safe. We recommend you to set a value. Please check https://pkg.go.dev/github.com/gin-gonic/gin#readme-don-t-trust-all-proxies for details. [GIN-debug] Listening and serving HTTP on :9092
現(xiàn)在打開另一個命令行窗口,輸入 curl -X POST -d '{"cron":"* * * * *","exec":"touch /tmp/hello.txt"}' http://localhost:9092/jobs
,會得到如下返回結(jié)果。表示已經(jīng)生成了相應(yīng)的定時任務(wù),任務(wù) ID 為 1,每分鐘跑一次,會更新一次 /tmp/hello.txt
。
{"id":1}
在這個命令行窗口中輸入 curl http://localhost:9092/jobs
。
[{"id":1,"next":"2022-10-03T12:46:00+08:00"}]
這表示下一次執(zhí)行是 1 分鐘之后。
等待一分鐘,執(zhí)行 ls -l /tmp/hello.txt
,得到如下結(jié)果。
-rw-r--r-- 1 marvzhang wheel 0B Oct 3 12:46 /tmp/hello.txt
也就是說,執(zhí)行成功了,大功告成!
總結(jié)
本篇文章通過將 Go 語言幾個庫簡單組合,就開發(fā)出了一個極簡的任務(wù)調(diào)度系統(tǒng)。所用到的核心庫:
- gin
- robfig/cron
- os/exec
整個代碼示例倉庫在 GitHub 上: https://github.com/tikazyq/codao-code/tree/main/2022-10/go-task-scheduler
到此這篇關(guān)于利用Go語言快速實現(xiàn)一個極簡任務(wù)調(diào)度系統(tǒng)的文章就介紹到這了,更多相關(guān)Go語言實現(xiàn)任務(wù)調(diào)度系統(tǒng)內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Go Uber靜態(tài)分析工具NilAway使用初體驗
這篇文章主要介紹了Go Uber靜態(tài)分析工具NilAway使用詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2024-01-01