老师好,我遇到一个问题如图所示
1.CDH Spark程序调优spark.yarn.executor.memoryOverhead该如何配置呢?主要是参考什么参数的值?
2.yarn.nodemanager.resource.memory-mb,spark.executor.memory,spark.yarn.executor.memoryOverhead这三个参数之间的关系是怎样的呢?该按照怎样的方式来配置?
3.spark.yarn.executor.memoryOverhead如果在export中使用后再运行submit命令是不是如下
#export SPARK_YARN_EXECUTOR_MEMORYOVERHEAD=3G
#spark-submit --xxxxx .....
不知道用SPARK_YARN_EXECUTOR_MEMORYOVERHEAD是不是正确的,如果这个变量名不正确应该用哪个?