CDH5.14.4有9个datanode,每个datanode的资源为4cores/28GB,但是每次跑hive,spark看到内存都没有利用完,比如利用了33cores但是内存仅仅使用到15GB。
1.请问该在CDH上如何配置yarn才会尽最大程度利用完集群的资源?
2.还有有时发现共启动1个container,但是内存也是使用1GB,最大返现能启动9个container使用了15GB,请问是否是一个不管任务有多大一个datanode只会启动一个container?
3.是否能通过配置每个container能利用的最大资源提高利用率,该如何配置?
4.每个container会在什么情况下能够利用配置好的最大资源,能否配置运行每个job使用最大资源来提高运行速度(不考虑其他Job同事运行的情况下)?
期待大神答疑,非常感谢。