欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Go語(yǔ)言kylin任務(wù)自動(dòng)化實(shí)例詳解

 更新時(shí)間:2022年06月08日 16:35:07   作者:愛(ài)吃紅薯粉  
這篇文章主要為大家介紹了Go語(yǔ)言kylin任務(wù)自動(dòng)化實(shí)例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪

前言

kylin是一個(gè)開(kāi)源的OLAP分析引擎,具有亞秒級(jí)查詢大表的能力

通過(guò)kylin提供的cube預(yù)構(gòu)建功能,省去了不斷寫(xiě)sql查詢hive的麻煩,強(qiáng)化了任務(wù)統(tǒng)一管理和結(jié)果快速呈現(xiàn)的效果

kylin官網(wǎng): https://kylin.apache.org/cn/

任務(wù)

當(dāng)kylin集群比較大,和有多個(gè)kylin集群時(shí),說(shuō)明cube也越來(lái)越多,幾百上千個(gè)cube便是常用便飯了

這些任務(wù)的運(yùn)行就成了難題,人工去界面上點(diǎn)點(diǎn)點(diǎn)完全不實(shí)現(xiàn)了。此時(shí)就需要做成自動(dòng)化周期性的任務(wù)

因?yàn)楣俜經(jīng)]有提供Go的客戶端,只提供了http的api請(qǐng)求。下列例子使用Go中的http包來(lái)實(shí)現(xiàn)自動(dòng)化任務(wù)

自動(dòng)化實(shí)現(xiàn)

初始化

使用第三方http包(HttpRequest)來(lái)做http相關(guān)的請(qǐng)求,該包支持GET,POST,DELETE,PUT等四種請(qǐng)求方法,正好完全滿足請(qǐng)求kylin的要求

var (
   url = "http://ip:7070/kylin/"
   username = "ADMIN"
   password = "Password"
   req *HttpRequest.Request
)
func init() {
   req = HttpRequest.NewRequest().Debug(false).SetTimeout(time.Second*5).
      SetHeaders(map[string]string{
         "Content-Type": "application/json;charset=utf-8",
      }).SetBasicAuth(username, password)
}

cube提交build

該方法接收三個(gè)參數(shù),需要構(gòu)建的cube名稱,以及開(kāi)始時(shí)間戳和結(jié)束時(shí)間戳

調(diào)用示例:

cubeBuild("dwd_jd_order","1637193600000","1637280000000")

時(shí)間戳獲取方法,在第6小節(jié)

func cubeBuild(cube,startTime,endTime string) {
   m := map[string]string{
      "startTime": startTime,
      "endTime":   endTime,
      "buildType": "BUILD",
   }
   resp, err := req.JSON().Put(url+"api/cubes/"+cube+"/build", m)
   if err != nil {
      fmt.Println("cube構(gòu)建請(qǐng)求錯(cuò)誤: ", err)
   }
   if resp.StatusCode() != 200 {
      fmt.Println("cube構(gòu)建狀態(tài)碼不符期望: ",resp.StatusCode())
   }
}

cube運(yùn)行結(jié)果檢查

檢查cube運(yùn)行結(jié)果,是成功還是失敗了,還提供一個(gè)重新構(gòu)建開(kāi)關(guān),如果cube失敗,調(diào)用重構(gòu)

kylin job檢查接口屬性說(shuō)明

jobSearchMode 搜索模式(檢查點(diǎn)和cubeing兩種) ALL所有模式的數(shù)據(jù)

limit 限制返回條數(shù)

offset 位置(0是從第一條開(kāi)始)

status 狀態(tài)類型(8是錯(cuò)誤類型,0是new,1是pending,2是running,32是stopped,4是finished,16是discarded)

timeFilter 時(shí)間范圍過(guò)濾(1是一天,2是一周,3是一月,4是一年,5是全部)

調(diào)用示例: jobCheck(false)

為什么要在檢查里面調(diào)重構(gòu)方法,是因?yàn)橹貥?gòu)cube需要拿到uuid,但uuid只能在這個(gè)接口中獲取到,且uuid不是固定的,需要運(yùn)cube運(yùn)行后才可得到

func jobCheck(resumeSwitch bool) {
   resp, err := req.Get(url+"api/jobs?jobSearchMode=ALL&limit=15&offset=0&status=8&timeFilter=1")
   if err != nil {
      fmt.Println("job檢查請(qǐng)求錯(cuò)誤: ", err)
   }
   if resp.StatusCode() != 200 {
      fmt.Println("job檢查狀態(tài)碼不符期望: ",resp.StatusCode())
   }
   body, _ := resp.Body()
   var i interface{}
   json.Unmarshal(body,&i)
   uuid, err := jmespath.Search("[0].uuid", i)
   if err != nil {
      fmt.Println("search err: ",err)
   }
   fmt.Println(uuid)
   if resumeSwitch {
      cubeResume("uuid")
   }
}

重構(gòu)cube

重構(gòu)cube在job失敗后,自動(dòng)構(gòu)建非常有用,避免人工頻繁介入到這些工作中,是自動(dòng)化中關(guān)鍵一步

調(diào)用示例: cubeResume("uuid")

func cubeResume(uuid string)  {
   resp, err := req.Put(url+"api/jobs/"+uuid+"/resume")
   if err != nil {
      fmt.Println("cube重新build請(qǐng)求錯(cuò)誤: ", err)
   }
   if resp.StatusCode() != 200 {
      fmt.Println("cube重新build狀態(tài)碼不符期望: ",resp.StatusCode())
   }
}

歷史job清理

kylin在運(yùn)行一段時(shí)間后,就會(huì)產(chǎn)生很多冗余,且時(shí)需要周期性的清理這些歷史job

調(diào)用示例: jobHistoryDelete("uuid")

需要先檢查job,獲取uuid,然后再刪除歷史job

func jobHistoryDelete(uuid string) {
   resp, err := req.Delete(url+"api/jobs/"+uuid+"/drop")
   if err != nil {
      fmt.Println("歷史job清理請(qǐng)求錯(cuò)誤: ", err)
   }
   if resp.StatusCode() != 200 {
      fmt.Println("歷史job清理狀態(tài)碼不符期望: ",resp.StatusCode())
   }
}

時(shí)間戳

kylin要求的時(shí)間毫秒,這里使用納秒時(shí)間戳方法除一下就得到了毫秒

func timestamp()  {
   year := time.Now().Year()
   month := time.Now().Month()
   day := time.Now().Day()
   //今天的時(shí)間戳
   today := time.Date(year, month, day, 8, 0, 0, 0, time.Local).UnixNano() / 1e6
   fmt.Println(today)
   //昨天的時(shí)間戳
   iDay := time.Now().AddDate(0, 0, -1).Day()
   yesterday := time.Date(year, month, iDay, 8, 0, 0, 0, time.Local).UnixNano() / 1e6
   fmt.Println(yesterday)
}

小結(jié)

以上方法配合定時(shí)任務(wù),就可以實(shí)現(xiàn)kylin自動(dòng)化運(yùn)維工作了,當(dāng)然kylin官網(wǎng)還提供了更多接口,有需求的同學(xué)可以看看

傳送門(mén): https://kylin.apache.org/cn/docs31/howto/howto_use_restapi.html

更多關(guān)于Go語(yǔ)言kylin任務(wù)自動(dòng)化的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!

相關(guān)文章

  • 關(guān)于Go 空結(jié)構(gòu)體的 3 種使用場(chǎng)景

    關(guān)于Go 空結(jié)構(gòu)體的 3 種使用場(chǎng)景

    在今天這篇文章要給大家介紹得是Go 語(yǔ)言中幾種常見(jiàn)類型的寬度,并且基于開(kāi)頭的問(wèn)題 ”空結(jié)構(gòu)體“ 進(jìn)行了剖析,需要的朋友可以參考一下,希望對(duì)你有所幫助
    2021-10-10
  • Go語(yǔ)言文件讀寫(xiě)操作案例詳解

    Go語(yǔ)言文件讀寫(xiě)操作案例詳解

    這篇文章主要為大家介紹了Go語(yǔ)言文件讀寫(xiě)操作案例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2022-09-09
  • goland 恢復(fù)已更改文件的操作

    goland 恢復(fù)已更改文件的操作

    這篇文章主要介紹了goland 恢復(fù)已更改文件的操作,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2021-04-04
  • 6行代碼快速解決golang TCP粘包問(wèn)題

    6行代碼快速解決golang TCP粘包問(wèn)題

    在用golang開(kāi)發(fā)人工客服系統(tǒng)的時(shí)候碰到了粘包問(wèn)題,那么什么是粘包呢?下面這篇文章主要給大家介紹了關(guān)于如何通過(guò)6行代碼快速解決golang TCP粘包問(wèn)題的相關(guān)資料,文中通過(guò)示例代碼介紹的非常詳細(xì),需要的朋友可以參考借鑒下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧。
    2018-03-03
  • GO語(yǔ)言中創(chuàng)建切片的三種實(shí)現(xiàn)方式

    GO語(yǔ)言中創(chuàng)建切片的三種實(shí)現(xiàn)方式

    這篇文章主要介紹了GO語(yǔ)言中創(chuàng)建切片的三種實(shí)現(xiàn)方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2023-09-09
  • Golang實(shí)現(xiàn)HTTP代理突破IP訪問(wèn)限制的步驟詳解

    Golang實(shí)現(xiàn)HTTP代理突破IP訪問(wèn)限制的步驟詳解

    在當(dāng)今互聯(lián)網(wǎng)時(shí)代,網(wǎng)站和服務(wù)商為了維護(hù)安全性和保護(hù)用戶隱私,常常會(huì)對(duì)特定的IP地址進(jìn)行封鎖或限制,本文將介紹如何使用Golang實(shí)現(xiàn)HTTP代理來(lái)突破IP訪問(wèn)限制,需要的朋友可以參考下
    2023-10-10
  • 深入理解Go語(yǔ)言中的Dispatcher

    深入理解Go語(yǔ)言中的Dispatcher

    最近看到了Go語(yǔ)言中的Dispatcher,但是在網(wǎng)上發(fā)現(xiàn)資料非常少,所以想著總結(jié)處理分享給大家,下面這篇文章主要給大家深入的介紹Go語(yǔ)言中Dispatcher的相關(guān)資料,需要的朋友可以參考借鑒,下面來(lái)一起看看吧。
    2017-03-03
  • 一文秒懂Go 編寫(xiě)命令行工具的代碼

    一文秒懂Go 編寫(xiě)命令行工具的代碼

    這篇文章主要介紹了一文秒懂Go 編寫(xiě)命令行工具的代碼,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2021-01-01
  • 深入了解Go項(xiàng)目標(biāo)準(zhǔn)目錄布局

    深入了解Go項(xiàng)目標(biāo)準(zhǔn)目錄布局

    本文主要介紹了Go項(xiàng)目標(biāo)準(zhǔn)目錄布局,文中通過(guò)示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2022-05-05
  • Golang巧用defer進(jìn)行錯(cuò)誤處理的方法

    Golang巧用defer進(jìn)行錯(cuò)誤處理的方法

    錯(cuò)誤處理是程序的重要組成部分,有效且優(yōu)雅的處理錯(cuò)誤是大多數(shù)程序員的追求,下面這篇文章主要給大家介紹了關(guān)于Golang中巧用defer進(jìn)行錯(cuò)誤處理的方法,文中通過(guò)示例介紹的非常詳細(xì),對(duì)大家具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面來(lái)一起看看吧。
    2017-05-05

最新評(píng)論