Azkaban3.81.x部署過(guò)程及遇到的坑
更新時(shí)間：2020年05月03日 10:14:02 作者：buildings
這篇文章主要介紹了Azkaban3.81.x部署過(guò)程詳細(xì)介紹及遇到的坑，本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
Azkaban是什么？
Azkaban是由Linkedin公司推出的一個(gè)批量工作流任務(wù)調(diào)度器，主要用于在一個(gè)工作流內(nèi)以一個(gè)特定的順序運(yùn)行一組工作和流程，它的配置是通過(guò)簡(jiǎn)單的key:value對(duì)的方式，通過(guò)配置中的dependencies 來(lái)設(shè)置依賴關(guān)系，這個(gè)依賴關(guān)系必須是無(wú)環(huán)的，否則會(huì)被視為無(wú)效的工作流。Azkaban使用job配置文件建立任務(wù)之間的依賴關(guān)系，并提供一個(gè)易于使用的web用戶界面維護(hù)和跟蹤你的工作流。
一、前提安裝
1.1 Java1.8環(huán)境搭建
1) 下載jdk1.8并解壓：
# tar -zxvf jdk-8u201-linux-i586.tar.gz -C /usr/local
2) 添加Java環(huán)境變量，在/etc/profile中添加：
export JAVA_HOME=/usr/local/jdk1.8.0_201 export PATH=$PATH:$JAVA_HOME/bin export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
3) 保存后刷新環(huán)境變量：
# source /etc/profile
4) 檢查Java是否配置成功，成功配置會(huì)有如下圖所示。
# java -version
1.2 MySQL安裝
Ubuntu可以參考我的MySQL安裝博文。
1.3 git安裝
# sudo apt-get install git
1.4 下載azkaban
從github選取版本下載azkaban：
https://github.com/azkaban/azkaban/releases
在這里我選取了azkaban-3.18.4版本：
# wget https://github.com/azkaban/azkaban/archive/3.84.4.tar.gz
解壓：
# tar -zxvf azkaban-3.84.4.tar.gz -C /mnt/addDisk1/BigData/ # cd /mnt/addDisk1/BigData/azkaban-3.84.4
1.5 編譯
執(zhí)行g(shù)radlew編譯命令，跳過(guò)測(cè)試：
# ./gradlew distTar -x test
它會(huì)一下編譯，直到編譯成功，運(yùn)行之后會(huì)生成5個(gè)壓縮包，分別放在在azkaban-*/build/distributions/目錄下：
azkaban-db-3.47.0-10-gdd67b02.tar.gz azkaban-exec-server-3.47.0-10-gdd67b02.tar.gz azkaban-hadoop-security-plugin-3.47.0-10-gdd67b02.tar.gz azkaban-solo-server-3.47.0-10-gdd67b02.tar.gz azkaban-web-server-3.47.0-10-gdd67b02.tar.gz
接著把五個(gè)包分別解壓在另外的目錄下(/mnt/addDisk1/BigData/azkaban)，并重命名：
cd /mnt/addDisk1/BigData tar -zxvf ./azkaban-3.81.4/azkaban-db/build/distributions/azkaban-db-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/ tar -zxvf ./azkaban-3.81.4/azkaban-exec-server/build/distributions/azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/ tar -zxvf ./azkaban-3.81.4/azkaban-hadoop-security-plugin/build/distributions/azkaban-hadoop-security-plugin-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/ tar -zxvf ./azkaban-3.81.4/azkaban-solo-server/build/distributions/azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/ tar -zxvf ./azkaaban-3.81.4/azkaban-web-server/build/distributions/azkaban-web-server-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/ mv azkaban-solo-server-0.1.0-SNAPSHOT/ azkaban-solo-server mv azkaban-exec-server-0.1.0-SNAPSHOT/ azkaban-exec-server mv azkaban-web-server-0.1.0-SNAPSHOT/ azkaban-web-server mv azkaban-db-0.1.0-SNAPSHOT/ azkaban-db mv azkaban-hadoop-security-plugin-0.1.0-SNAPSHOT/ azkaban-hadoop-security-plugin
二、azkaban部署
2.1在MySQL中創(chuàng)建azkaban數(shù)據(jù)庫(kù)：
create database azkaban; grant all privileges on azkaban.* to azkaban@'%' identified by 'azkaban'; flush privileges; use azkaban; # 將azkaban sql表結(jié)構(gòu)導(dǎo)入mysql source /mnt/addDisk1/BigData/azkaban/azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql
2.2 創(chuàng)建SSL配置：
# keytool -keystore keystore -alias jetty -genkey -keyalg RSA 運(yùn)行此命令后,會(huì)提示輸入當(dāng)前生成 keystor的密碼及相應(yīng)信息,輸入的密碼請(qǐng)勞記,信息如下: 輸入keystore密碼： 再次輸入新密碼: 您的名字與姓氏是什么？ [Unknown]： 您的組織單位名稱是什么？ [Unknown]： 您的組織名稱是什么？ [Unknown]： 您所在的城市或區(qū)域名稱是什么？ [Unknown]： 您所在的州或省份名稱是什么？ [Unknown]： 該單位的兩字母國(guó)家代碼是什么 [Unknown]： CN CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正確嗎？ [否]： y 密碼在此我輸入的是hadoop 輸入<jetty>的主密碼 （如果和 keystore 密碼相同，按回車）： 再次輸入新密碼:
完成上述工作后,將在當(dāng)前目錄生成 keystore 證書(shū)文件,將keystore 考貝到 azkaban web服務(wù)器根目:
# sudo mv keystore azkaban/azkaban-web-server
2.3部署 azkaban-web-server
# cd ./azkaban # sudo cp -r ./azkaban-solo-server/conf/ ./azkaban-web-server/ # cd ./azkaban-web-server/conf
配置azkaban.properties:
# 默認(rèn)時(shí)區(qū),已改為亞洲/上海 默認(rèn)為美國(guó) default.timezone.id=Asia/Shanghai database.type=mysql #數(shù)據(jù)庫(kù)類型 # h2.path=./h2 # h2.create.tables=true mysql.port=3306 #端口號(hào) mysql.host=localhost #數(shù)據(jù)庫(kù)連接IP mysql.database=azkaban #數(shù)據(jù)庫(kù)實(shí)例名 mysql.user=root #數(shù)據(jù)庫(kù)用戶名 mysql.password=root #數(shù)據(jù)庫(kù)密碼 jetty.use.ssl=true jetty.maxThreads=25 #最大線程數(shù) jetty.ssl.port=8443 #Jetty SSL端口 jetty.port=8081 #Jetty端口 jetty.keystore=keystore #SSL文件名 jetty.password=hadoop #SSL文件密碼 jetty.keypassword=hadoop #Jetty主密碼 與 keystore文件相同 jetty.truststore=keystore #SSL文件名 jetty.trustpassword=hadoop # SSL文件密碼 # 執(zhí)行服務(wù)器屬性 executor.port=12321 #執(zhí)行服務(wù)器端口 # 郵件設(shè)置 可不設(shè)計(jì) mail.sender=xxxxxxxx@163.com #發(fā)送郵箱 mail.host=smtp.163.com #發(fā)送郵箱smtp地址 mail.user=xxxxxxxx #發(fā)送郵件時(shí)顯示的名稱 mail.password=********** #郵箱密碼 job.failure.email=xxxxxxxx@163.com #任務(wù)失敗時(shí)發(fā)送郵件的地址 job.success.email=xxxxxxxx@163.com #任務(wù)成功時(shí)發(fā)送郵件的地址 lockdown.create.projects=false # cache.directory=cache #緩存目錄
配置log4j.properties（默認(rèn)就可以了，如有其他需求可修改）:
log4j.rootLogger=INFO, Console
log4j.logger.azkaban=INFO, server
log4j.appender.server=org.apache.log4j.RollingFileAppender
log4j.appender.server.layout=org.apache.log4j.PatternLayout
log4j.appender.server.File=logs/azkaban-webserver.log
log4j.appender.server.layout.ConversionPattern=%d{yyyy/MM/dd HH:mm:ss.SSS Z} %p [%c{1}] [Azkaban] %m%n
log4j.appender.server.MaxFileSize=102400MB
log4j.appender.server.MaxBackupIndex=2
log4j.appender.Console=org.apache.log4j.ConsoleAppender
log4j.appender.Console.layout=org.apache.log4j.PatternLayout
log4j.appender.Console.layout.ConversionPattern=%d{yyyy/MM/dd HH:mm:ss.SSS Z} %p [%c{1}] [Azkaban] %m%n
添加管理員用戶:
# sudo vim azkaban-users.xml <azkaban-users> <user groups="azkaban" password="azkaban" roles="admin" username="azkaban"/> <user password="metrics" roles="metrics" username="metrics"/> <user username="admin" password="admin" roles="admin,metrics" /> <role name="admin" permissions="ADMIN"/> <role name="metrics" permissions="METRICS"/> </azkaban-users>
2.4部署 azkaban-exec-server
# cd /mnt/addDisk1/BigData/azkaban # sudo cp -r ./azkaban-solo-server/conf/ ./azkaban-exec-server/ # cd ./azkaban-exec-server/conf
配置azkaban.properties：
# sudo vim azkaban.properties #Azkaban default.timezone.id=Asia/Shanghai #時(shí)區(qū) # Azkaban JobTypes 插件配置 azkaban.jobtype.plugin.dir=plugins/jobtypes #jobtype 插件所在位置 #Loader for projects executor.global.properties=conf/global.properties azkaban.project.dir=projects #數(shù)據(jù)庫(kù)設(shè)置 database.type=mysql #數(shù)據(jù)庫(kù)類型(目前只支持mysql) mysql.port=3306 #數(shù)據(jù)庫(kù)端口號(hào) mysql.host=localhost #數(shù)據(jù)庫(kù)IP地址 mysql.database=azkaban #數(shù)據(jù)庫(kù)實(shí)例名 mysql.user=azkaba #數(shù)據(jù)庫(kù)用戶名 mysql.password=azkaba #數(shù)據(jù)庫(kù)密碼 mysql.numconnections=100 #最大連接數(shù) # 執(zhí)行服務(wù)器配置 executor.maxThreads=50 #最大線程數(shù) executor.port=12321 #端口號(hào)(如修改,請(qǐng)與web服務(wù)中一致) executor.flow.threads=30 #線程數(shù)
在azkaban-exec-server和azkaban-web-server安裝目錄下創(chuàng)建extlib目錄，將lib目錄下的mysql-connector-java-5.1.28.jar包拷備這extlib目錄：
# cd /mnt/addDisk1/BigData/azkaban # sudo cp ./azkaban-web-server/lib/mysql-connector-java-5.1.28.jar ./azkaban-web-server/extlib/ # sudo cp ./azkaban-exec-server/lib/mysql-connector-java-5.1.28.jar ./azkaban-exec-server/extlib/
2.5啟動(dòng)web-server和exec-server
# ./azkaban-exec-server/bin/start-exec.sh # ./azkaban-web-server/bin/start-web.sh
2.6訪問(wèn)https://ip:8443打開(kāi)azkaban的web頁(yè)面
2.7 測(cè)試
三、遇到的問(wèn)題
3.1、 找到guava-*.jar包版本過(guò)低，但在/lib/下的是0.21版本，不低了，根據(jù)排除可知找到系統(tǒng)中版本過(guò)低的而使用。
2019/12/20 14:25:34.573 +0800 ERROR [StdOutErrRedirect] [Azkaban] Exception in thread "main" 2019/12/20 14:25:34.574 +0800 ERROR [StdOutErrRedirect] [Azkaban] java.lang.NoSuchMethodError: com.google.common.collect.ImmutableMap.toImmutableMap(Ljava/util/function/Function;Ljava/util/function/Function;)Ljava/util/stream/Collector; 2019/12/20 14:25:34.574 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.Status.<clinit>(Status.java:40) 2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.FetchActiveFlowDao$FetchActiveExecutableFlows.<clinit>(FetchActiveFlowDao.java:177) 2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.FetchActiveFlowDao.fetchActiveFlows(FetchActiveFlowDao.java:148) 2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.JdbcExecutorLoader.fetchActiveFlows(JdbcExecutorLoader.java:102) 2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.loadRunningExecutions(ExecutorManager.java:384) 2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.initialize(ExecutorManager.java:136) 2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.start(ExecutorManager.java:149) 2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.webapp.AzkabanWebServer.launch(AzkabanWebServer.java:231) 2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.webapp.AzkabanWebServer.main(AzkabanWebServer.java:224)
解決方案：http://www.dbjr.com.cn/article/185901.htm
# vim /mnt/addDisk1/BigData/azkaban/azkaban-web-server/bin/internal/internal-start-web.sh
將如下： for file in $azkaban_dir/lib/*.jar; do CLASSPATH=$CLASSPATH:$file done 改為： for file in $azkaban_dir/lib/*.jar; do CLASSPATH=$file:$CLASSPATH done
# vim /mnt/addDisk1/BigData/azkaban/azkaban-exec-server/bin/internal/internal-start-executor.sh
將如下： for file in $azkaban_dir/lib/*.jar; do CLASSPATH=$CLASSPATH:$file done 改為： for file in $azkaban_dir/lib/*.jar; do CLASSPATH=$file:$CLASSPATH done
3.2解決executor非active的問(wèn)題
解決方案：
1）
# cd ./azkaban/azkaban-exec-server/ # curl -G "localhost:$(<./executor.port)/executor?action=activate" && echo
2）也可以通過(guò)在MySQL中修改：http://www.dbjr.com.cn/article/185900.htm
到此這篇關(guān)于Azkaban3.81.x部署過(guò)程及遇到的坑的文章就介紹到這了,更多相關(guān)Azkaban3.81.x部署內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
本文詳細(xì)講解了git?stash(儲(chǔ)藏)的用法，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2022-06-06
vscode使用restClient實(shí)現(xiàn)各種http請(qǐng)求的操作方法
這篇文章主要介紹了vscode使用restClient實(shí)現(xiàn)各種http請(qǐng)求的操作方法,定義變量以及使用環(huán)境變量和返回?cái)?shù)據(jù)作為變量的操作代碼,感興趣的朋友跟隨小編一起看看吧2024-02-02
解決SecureCRT通過(guò)SSH連接Ubuntu時(shí)vi命令有多余的m的問(wèn)題
小編遇到這樣一個(gè)問(wèn)題用vi命令來(lái)編輯文件的時(shí)候，在開(kāi)頭和結(jié)尾有多余的字母出現(xiàn)：在開(kāi)頭會(huì)有多余的“m”出現(xiàn)，結(jié)尾有多余的“2m”，這篇文章主要介紹了解決SecureCRT通過(guò)SSH連接Ubuntu時(shí)vi命令有多余的m的問(wèn)題,需要的朋友可以參考下2022-09-09
基于HTTP協(xié)議的一些實(shí)時(shí)數(shù)據(jù)獲取技術(shù)詳解
HTTP 協(xié)議是一個(gè)標(biāo)準(zhǔn)，定義了web客戶端如何與服務(wù)器對(duì)話，以及數(shù)據(jù)如何從服務(wù)器傳回客戶端，下面這篇文章主要給大家介紹了關(guān)于基于HTTP協(xié)議的一些實(shí)時(shí)數(shù)據(jù)獲取技術(shù)的相關(guān)資料，需要的朋友可以參考下2018-07-07
本文主要介紹了git?pull和git?clone的區(qū)別詳解，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-07-07
這篇文章主要介紹了vscode代碼格式化和eslint的使用，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-05-05
關(guān)于IE11修改User-agent不再支持document.all等
這篇文章主要介紹了關(guān)于IE11修改User-agent不再支持document.all等,需要的朋友可以參考下2015-12-12
cnblogs 運(yùn)行代碼功能嘗試，使用cnblogs的朋友可以參考下。2011-08-08
瀏覽器不能正常訪問(wèn)Github的問(wèn)題解決
這篇文章主要為大家介紹了瀏覽器不能正常訪問(wèn)Github問(wèn)題解決，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-06-06
這篇文章主要為大家介紹了MybatisPlus二級(jí)緩存體系探究分析，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步早日升職加薪2022-04-04