海汼部落
  • 首页
  • 课程
  • 实战
  • 云平台
  • 部落
  • 公告
  • 分享
  • 问答
    登 录 注册

苏牛

第 4184 位会员

2 关注者
38 评论
2 话题

  • Ta 发布的话题
  • Ta 发表的回复
  • Ta 关注的用户
  • Ta 赞过的话题
  1. 个人中心
  2. Ta 发表的回复(38)
  • hive 问题-输入乱码?

    这个应该是属于写法问题 可以现在记事本中写好 然后粘贴到公共集群执行

  • BaseMR 启动 控制台完全没有反应 是为什么?

    检查一波任务工作链状态是否正常 因为没有反应应该是启动类的main函数没有运行导致

  • 运行 BaseMR,任务链 显示运行成功 但是输出目录下只有第一个 MR 的输出?

    这属于BaseMR流程出现了问题 鉴于我们是执行 wordcount 然后再 minmax 和 distinct 那么问题应该出现在第一个wordcount的输出上导致 后面两个MR不能正常执行 请检查一下wordcount的输出 然后再重试

  • wordcount 无法运行,换电脑没问题~不知道问题出在哪?

    由于系统权限问题导致eclipse无法正常运行程序 建议以管理员身份运行

  • Sqoop 导出 hive 数据到 MySQL 报错?

    这个错误可以参照讲义上对mysql参数进行配置 增加等待时间

  • avro 表执行聚合函数时总是提示错误?

    根据报错提示avro字段的值有 null值 请在编写mr的时候对avro字段的属性进行空值判断 如果为空设置默认值即可

  • hive 启动不了,怎么解决?

    根据图中的报错信息可知 元数据服务出现了问题 可以重新启动元数据服务后再重新尝试启动hive即可

  • 使用动态分区的方式,导入数据自动分区的时候,分区名字变得很诡异?

    动态分区因为不指定location所以分区在hdfs上显示的就是这样的 这个不耽误事 只要是分区格式操持一致即可 具体使用什么格式都无所谓

  • HIVE 执行 UDF 函数获取 ip 字符串失败?

    根据保存提示 应该是ipdat文件加载失败了 建议在线下做完测试之后再集群运行

  • 执行 oozie 任务异常?

    oozie一直处于运行状态 可以将脚本分开运行 看问题出现在哪个脚本 看看是什么报错 可以通过ssh hadoop@nn1.hadoop sh 脚本的方式 进行测试

  • hadoop 如何开启和关闭控制台显示调试信息?

    这位同学 您好 :
    如果要进行日志级别的调整可以进行 log4j.properties 的配置 log4j.properties可以在hadoop的安装目录的 etc 中查找即可找到 log4j的配置
    额外 : 这个日志应该是hadoop配置了hbase之后出现的 所以建议删除hadoop中hbase配置之后再试

  • SSH 莫名奇妙的无法初始化启动了?

    根据图中内容显示,ssh服务启动失败,建议从其他服务器复制一份 sshd_config 放在启动错误的服务器中,看能不能正常启动,如果可以的话 再对比之前的配置文件看哪里配置有问题,如果依然启动不了就需要尝试恢复一下快照了

  • Hive 数据导入预分 region 的问题?

    这位同学 您好 :
    首先 hashset 在进行数据存储的时候并非无序存储,SE阶段说的无序 是指添加时候的顺序和读取时候的顺序是不一样,再者我们使用hashset 进行 rowkey的存储 是为了保证在 预分region的时候对文件进行去重,hbase 在进行region创建的时候 hbase 需要对region 进行一波阿斯克码表的排序 也就是说需要进行字典排序之后将rowkey 放入布隆过滤器 以方便查询,所以我们在堆文件 rowkey 存储的时候只要保证rowkey唯一不重复即可 这也是我们为啥用 set的原因

    建议对hbase的基础知识进行更加详细的复习

  • 进行数据清洗编写代码,代码写完后,运行时提示 java.lang.IllegalArgumentException?

    运行Runner的时候是不用加短命令的 短命令必须配合ProgramDriver运行才可以

  • 进行数据清洗编写代码,代码写完后,运行时提示 java.lang.IllegalArgumentException?

    根据报错信息可知 由于输入目录没有正确传递导致没有获取到输入目录 请检查 -Dmymr.task.input的配置是否正确

  • «
  • 1
  • 2
  • 3
  • »

为技术学习者提供一个动手实战、分享创造、结识伙伴、协同互助的平台。    

  京公网安备 11011402010672号        京ICP备17041118号-2