Hadoop多Job并行處理的實例詳解
Hadoop多Job并行處理的實例詳解
有關(guān)Hadoop多Job任務并行處理，經(jīng)過測試，配置如下：
首先做如下配置：
1、修改mapred-site.xml添加調(diào)度器配置：
<property> <name>mapred.jobtracker.taskScheduler</name> <value>org.apache.hadoop.mapred.FairScheduler</value> </property>
2、添加jar文件地址配置：
<property> <name>hadoopTest.jar</name> <value>所生成jar的地址</value> </property>
Java基本代碼如下：
// 獲取各個Job，有關(guān)Job的創(chuàng)建，這里就不貼上來了。
Job job_base = (Job) 。。。;
Job job_avg = (Job) 。。。;
Job job_runCount = (Job) 。。。;
Job job_activeUser = (Job) ....;
job_base.setJarByClass(CapuseDateTimerTask.class);
job_avg.setJarByClass(CapuseDateTimerTask.class);
job_runCount.setJarByClass(CapuseDateTimerTask.class);
job_activeUser.setJarByClass(CapuseDateTimerTask.class);
// 執(zhí)行完job_base才開始并行以下三個Job；
if (job_base.waitForCompletion(true)) {
FileUtil.hdfsFileHandle(jobBase);
// 并行Job
job_avg.submit();
job_runCount.submit();
job_activeUser.submit();
}
boolean bln1 = job_avg.isComplete();
boolean bln2 = job_runCount.isComplete();
boolean bln3 = job_activeUser.isComplete();
// 計算Job是否完成
while (!bln1 || !bln2 || !bln3) {
bln1 = job_avg.isComplete();
bln2 = job_runCount.isComplete();
bln3 = job_activeUser.isComplete();
}
最后將這些代碼組裝至Main方法，使用Hadoop執(zhí)行命令運行：
hadoop jar jar包名稱 方法入口所在的類
如：
hadoop jar hadoopTest.jar ch03.test Test
可以通過50030端口來監(jiān)控Job的并行狀態(tài)，這里就不多說了！！
解釋：
1、配置Jar地址可以解決打包所生成的jar包后，運行時出現(xiàn)ClassNotFound的問題；
2、給多個Job設定setJarByClass，經(jīng)測試，如果不設定此類，運行時會出現(xiàn)ClassNotFound錯誤，其中CapuseDateTimerTask為Main方法所在的類名；
3、waitForCompletion與submit方法是有區(qū)別的，waitForCompletion是串行，而submit是并行，正是因為submit是并行所以后續(xù)的代碼操作需要取其執(zhí)行是否完成的狀態(tài)來做判斷處理即：isComplete()；
4、以上Job采用的是：org.apache.hadoop.mapreduce.Job
以上代碼操作在單機/集群上測試都通過！
如有疑問請留言或者到本站社區(qū)交流討論，感謝閱讀，希望能幫助到大家，謝謝大家對本站的支持！
相關(guān)文章
這篇文章主要介紹了Jmeter JDBC請求常見問題解決方案,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-04-04
這篇文章主要介紹了拉鉤網(wǎng)java筆試題分享,下面是題目和實現(xiàn)示例,需要的朋友可以參考下2014-05-05
這篇文章主要介紹了Spring-AOP 靜態(tài)普通方法名匹配切面操作，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-07-07
簡單了解Thymeleaf語法 數(shù)據(jù)延遲加載使用實例
這篇文章主要介紹了簡單了解Thymeleaf語法 數(shù)據(jù)延遲加載使用實例,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2010-05-05
Mybatis中isNotNull與isNotEmpty的使用心得
這篇文章主要介紹了Mybatis中isNotNull與isNotEmpty的使用心得，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-03-03
今天給大家?guī)淼氖顷P(guān)于Java虛擬機的相關(guān)知識,文章圍繞著JVM堆區(qū)展開,文中有非常詳細的介紹及代碼示例,需要的朋友可以參考下2021-06-06
Log4j?是Apache為Java提供的日志管理工具。他與System.out.println()的作用相似，用來跟蹤、調(diào)試、維護程序。這篇文章主要介紹了關(guān)于log4j漏洞修復解決方案及源碼編譯,需要的朋友可以參考下2021-12-12
這篇文章主要介紹了Intellij IDEA 2020.3 配置教程詳解,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-02-02
Java加載本地庫的方法之System.load與System.loadLibrary
最近在做的工作要用到本地方法,所以下面這篇文章主要介紹了Java加載本地庫的方法之System.load與System.loadLibrary的相關(guān)資料,文中通過代碼介紹的非常詳細,需要的朋友可以參考下2024-09-09
這篇文章主要介紹了使用idea2017搭建SSM框架(圖文步驟)，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-12-12