起因

新接觸一個(gè)spark集群，明明集群資源（core,內(nèi)存）還有剩余，但是提交的任務(wù)卻申請(qǐng)不到資源。

分析

環(huán)境

spark 2.2.0 基于yarn集群

參數(shù)

spark任務(wù)提交參數(shù)中最重要的幾個(gè)：

spark-submit --master yarn --driver-cores 1 --driver-memory 5G --executor-cores 2 --num-executors 16 --executor-memory 4G

driver-cores driver端核數(shù) driver-memory driver端內(nèi)存大小 executor-cores 每個(gè)執(zhí)行器的核數(shù) num-executors 此任務(wù)申請(qǐng)的執(zhí)行器總數(shù) executor-memory 每個(gè)執(zhí)行器的內(nèi)存大小

那么，該任務(wù)將申請(qǐng)多少資源呢？

申請(qǐng)的執(zhí)行器總內(nèi)存數(shù)大小=num-executor * (executor-memory +spark.yarn.executor.memoryOverhead) = 16 * (4 + 2) = 96 申請(qǐng)的總內(nèi)存=執(zhí)行器總內(nèi)存+dirver端內(nèi)存=101 申請(qǐng)的總核數(shù)=num-executor*executor-core + yarn.AM(默認(rèn)為1)=33 運(yùn)行的總?cè)萜?contanier) = num-executor + yarn.AM(默認(rèn)為1) = 17

所以這里還有一個(gè)關(guān)鍵的參數(shù) spark.yarn.executor.memoryOverhead

這個(gè)參數(shù)是什么意思呢？ 堆外內(nèi)存，每個(gè)executor歸spark 計(jì)算的內(nèi)存為executor-memory，每個(gè)executor是一個(gè)單獨(dú)的JVM，這個(gè)JAVA虛擬機(jī)本向在的內(nèi)存大小即為spark.yarn.executor.memoryOverhead，不歸spark本身管理。在spark集群中配置。

也可在代碼中指定 spark.set("spark.yarn.executor.memoryOverhead", 1)

這部份實(shí)際上是存放spark代碼本身的究竟，在executor-memory內(nèi)存不足的時(shí)候也能應(yīng)應(yīng)急頂上。

問(wèn)題所在

假設(shè)一個(gè)節(jié)點(diǎn)16G的內(nèi)存，每個(gè)executor-memory=4，理想情況下4x4=16，那么該節(jié)點(diǎn)可以分配出4個(gè)節(jié)點(diǎn)供spark任務(wù)計(jì)算所用。 1.但應(yīng)考慮到spark.yarn.executor.memoryOverhead. 如果spark.yarn.executor.memoryOverhead=2，那么每個(gè)executor所需申請(qǐng)的資源為4+2=6G，那么該節(jié)點(diǎn)只能分配2個(gè)節(jié)點(diǎn)，剩余16-6x2=4G的內(nèi)存，無(wú)法使用。

如果一個(gè)集群共100個(gè)節(jié)點(diǎn)，用戶將在yarn集群主界面看到，集群內(nèi)存剩余400G,但一直無(wú)法申請(qǐng)到資源。

2.core也是一樣的道理。

很多同學(xué)容易忽略spark.yarn.executor.memoryOverhead此參數(shù)，然后陷入懷疑，怎么申請(qǐng)的資源對(duì)不上，也容易陷入優(yōu)化的誤區(qū)。

優(yōu)化結(jié)果

最終優(yōu)化結(jié)果，將spark.yarn.executor.memoryOverhead調(diào)小，并根據(jù)node節(jié)點(diǎn)資源合理優(yōu)化executor-memory,executor-core大小，將之前經(jīng)常1.6T的內(nèi)存占比，降到1.1左右。并能較快申請(qǐng)到資源。

以上就是spark任務(wù)提交參數(shù)的優(yōu)化記錄分析的詳細(xì)內(nèi)容，更多關(guān)于spark任務(wù)提交參數(shù)優(yōu)化的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！

最新評(píng)論