CDH 如何配置才能使得集群资源利用率达到最高?

问答 歌唱祖国 ⋅ 于 2018-10-07 12:53:43 ⋅ 最后回复由 青牛 2018-10-08 09:25:24 ⋅ 4426 阅读

CDH5.14.4有9个datanode,每个datanode的资源为4cores/28GB,但是每次跑hive,spark看到内存都没有利用完,比如利用了33cores但是内存仅仅使用到15GB。
1.请问该在CDH上如何配置yarn才会尽最大程度利用完集群的资源?
2.还有有时发现共启动1个container,但是内存也是使用1GB,最大返现能启动9个container使用了15GB,请问是否是一个不管任务有多大一个datanode只会启动一个container?
3.是否能通过配置每个container能利用的最大资源提高利用率,该如何配置?
4.每个container会在什么情况下能够利用配置好的最大资源,能否配置运行每个job使用最大资源来提高运行速度(不考虑其他Job同事运行的情况下)?

期待大神答疑,非常感谢。

成为第一个点赞的人吧 :bowtie:
回复数量: 1
  • 青牛 海汼部落创始人,80后程序员一枚,曾就职于金山,喜欢倒腾技术做产品
    2018-10-08 09:25:24

    1、集群的资源利用率和配置有关更和运行的job的类型和数据量有关
    2、理论上一个datanode可以有多个container
    3、要看运行的job
    4、假如我每次提交1000个job 也需要一个一个配置吗

暂无评论~~
  • 请注意单词拼写,以及中英文排版,参考此页
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情,可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif,教程
  • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
Ctrl+Enter