wordcount 执行不了，查日志提示 maximum-am-resource-percent is insufficient，应该怎么设置？

问答 ⋅ 大中 ⋅ 于 2018-01-13 16:24:52 ⋅ 最后回复由 大中 于 2018-01-22 17:01:49 ⋅ 11961 阅读

环境配置：电脑8g内存，用4个虚拟机组分布式集群，namenode,2g内存，三个datanode,512m内存。
问题：执行wordcount，发现程序卡住了，file，
log提示waiting for AM container to be allocated, launched and register with RM。
yarn的日志提示： WARN org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.LeafQueue: maximum-am-resource-percent
is insufficient to start a single application in queue for user, it is likely set too low. skipping enforcement to allow at least one application to start。
于是我将capacity-scheduler.xml的maximum-am-resource-percent 改到90，依然是这个提示信息。应该怎么办？

点赞
成为第一个点赞的人吧 :bowtie:
回复数量: 14
  • 青牛
    青牛 海汼部落创始人，80后程序员一枚，曾就职于金山，喜欢倒腾技术做产品
    ⋅ 2018-01-13 17:34:09

    你每个机器的yarn配置多大啊？

  • 大中
    大中
    ⋅ 2018-01-19 13:56:09

    @青牛 都是默认的

  • 青牛
    青牛 海汼部落创始人，80后程序员一枚，曾就职于金山，喜欢倒腾技术做产品
    ⋅ 2018-01-19 14:01:25

    @大中 那就看一下scheduler的设置是否生效了，再把map和reducer的内存设置小一点

  • 大中
    大中
    ⋅ 2018-01-19 14:05:59

    @青牛

    file
    都是零，是不是yarn没生效？我resourcemanager和nodemanager都起来了

  • 青牛
    青牛 海汼部落创始人，80后程序员一枚，曾就职于金山，喜欢倒腾技术做产品
    ⋅ 2018-01-19 14:15:01

    @大中 看一下子队列

    file

  • 大中
    大中
    ⋅ 2018-01-19 14:19:43

    file

  • 大中
    大中
    ⋅ 2018-01-19 14:19:56

    @青牛

    file

  • 青牛
    青牛 海汼部落创始人，80后程序员一枚，曾就职于金山，喜欢倒腾技术做产品
    ⋅ 2018-01-19 14:40:33

    @大中 目前来看你的队列没有可用的资源，换fair-scheduler.xml试试
    给你个参考
    yarn-site.xml
    file
    fair-scheduler.xml
    file

  • 大中
    大中
    ⋅ 2018-01-19 14:43:55

    @青牛 好的，谢谢

  • 大中
    大中
    ⋅ 2018-01-22 14:42:11

    @青牛 fair-scheduler

    file
    8088页面的queue 不显示maxResources
    file

  • 大中
    大中
    ⋅ 2018-01-22 14:46:32

    @青牛
    我三个子节点都是1024mb内存，maxResources：1536 mb,3 vcores 不够吗？
    file

  • 大中
    大中
    ⋅ 2018-01-22 14:49:17

    @青牛 org.apache.hadoop.yarn.exceptions.ApplicationNotFoundException: Application with id 'application_1516602271859_0001' doesn't exist in RM.

  • 青牛
    青牛 海汼部落创始人，80后程序员一枚，曾就职于金山，喜欢倒腾技术做产品
    ⋅ 2018-01-22 16:48:37

    @大中 你的虚拟机的内存太小了，你可以再把mapred-site.xml里的
    yarn.app.mapreduce.am.resource.mb
    yarn.app.mapreduce.am.command-opts
    mapreduce.map.memory.mb
    mapreduce.map.java.opts
    mapreduce.reduce.memory.mb
    mapreduce.reduce.java.opts
    再都设置小一点，别小到让程序跑不起来就行

  • 大中
    大中
    ⋅ 2018-01-22 17:01:49

    @青牛 好的

暂无评论~~
  • 请注意单词拼写，以及中英文排版，参考此页
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情，可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif，教程
  • 发布框支持本地存储功能，会在内容变更时保存，「提交」按钮点击时清空
Ctrl+Enter
新 建 话 题

作者：大中

  • 城市

大中 的其他话题

分类下其他主题

随机推荐话题

QQ群1：551936262 海汼部落QQ群1

关注海汼部落技术社区