苏牛

第 4184 位会员
注册于 2020-06-01 18:51:08
活跃于 2020-08-22 14:42:30


  • 结合切割脚本实现日志上传 hdfs 时报错? at 2020-06-15 23:31:12

    根据报错信息可知应该是flume的配置文件有地方配置错了 请详细检查之后重试

  • Orc 导出数据运行 jar 包失败? at 2020-06-12 09:11:53

    这位同学 您好 :
    根据图片中展示的信息,很明显是因为你的maven仓库的jar包损坏导致,建议删除maven仓库中org/apache下的 hadoop hive 和 hbase 三个目录之后,重新更新项目下载这三个jar包

  • hbase-数据导入失败,显示 300 行错行? at 2020-06-10 17:48:05

    这位童鞋 您好 :
    根据问题的描述,如果counter计数器在检查行质量统计的时候均被记录为错误行,那也就是说本身业务逻辑是不正确的,请认真检查一下判断部分的逻辑之后再重新执行代码

  • jar 包运行时异常? at 2020-06-10 14:46:50

    这位同学 您好 :
    根据你的报错提示,应该是有两个问题,第一个是你的短命令没有生效.第二个问题是你的预分region不能被正确加载
    针对第一个问题 建议检查一下短命令运行类 和 pom.xml 中的 mainClass的设置 检查一下是否正确编写了 driver类
    针对第二个问题 在程序运行的时候因为有预分region的类 所以需要放在hadoop的指定的目录下才能被加载,建议检查预分region代码后重试

  • jar 包在集群上运行异常? at 2020-06-10 14:42:44

    这位童鞋 您好 :
    根据hadoop-env.sh中的配置,mapreduce运行的时候会加载 /data/hainiu/hbase_split/* 这个位置下的jar包,所以你的问题在于你的driver类和我的driver类是重名的,所以导致调用混乱的问题,建议删除 /data/hainiu/hbase_split 目录下的jar包之后重试即可

    file

  • java 连接 hbase 报错? at 2020-06-09 20:07:50

    连接超时的问题一般是由于地址填写不对或者防火墙未关闭造成,建议操作步骤 :
    1) 重启linux的ZK集群
    2) 尝试在linux 客户端连接 ZK 集群查看是否有连接问题
    3) 检查并关闭windows防火墙
    4) 检查 hbase-site.xml中的配置是否正确
    如果以上步骤都检查一遍并没有解决这个问题,请联系助教老师帮忙看一下

  • baseMR 输出路径和设置输出路径不一样? at 2020-06-09 17:12:25

    这位同学 您好 :
    根据图片信息中所发现的问题,在getJobOutPutPath 这个方法中设置的是有问题的,所以导致您的输出目录变成了项目的根目录下,请按下图方式进行修改即可,然后请重新检查BaseMR以及JobRunnerUtil等工具类是否编写还有其他的问题,谢谢合作

    file

    请注意上图中 new Path的部分 是 获取的 getBasePath 而不是 getJobName,一定要细心编程呀,童鞋~~