足迹

第 197 位会员
注册于 2017-02-12 17:53:20
活跃于 2018-04-04 21:06:08


最近话题
最新评论
  • 海牛部落 Hadoop 系列教程(十二):mapper 本地模式执行过程源码分析 at 2018-03-31 17:38:25

    学习

  • 海牛大数据 MySQL 全套视频 at 2018-03-31 17:33:34

    谢谢

  • hadoop 的 Windows 环境部署后启动失败? at 2018-03-18 15:02:13

    总结一下这个问题,希望对大家有帮助。

    我的电脑是64位操作系统,而且hadoop2.7版本后官方提供的也是64位版本。

    理论上按青牛老师的教程部署是没有任何问题。

    但是我发现部署后提示INFO util.GSet: VM type = 32-bit,怀疑是不是版本不匹配。

    所以就重新编译了32位的hadoop,然后就可以正常使用了。

  • 海牛大数据 ETL 项目实战视频 at 2018-03-17 10:30:20

    谢谢大牛

  • scala 环境安装与基本语法 at 2018-02-07 23:46:35

    scala

  • 海牛大数据 hadoop 实战视频 at 2018-02-03 22:37:57

    顶一个,感谢分享!

  • hadoop 的 Windows 环境部署后启动失败? at 2018-02-01 16:14:35

    @青牛 不行,这几天比较忙就没看。我要不换一个低版本的试试。如果换版本的话,直接删除tmp目录重新格式化就好了吗?

  • 海牛部落 Hadoop 系列教程(八):mapreducer 原理 at 2018-01-28 17:33:16

    学习

  • DataNode 启动失败? at 2018-01-24 13:23:40

    @青牛
    好的,我检查一下。

  • hadoop 在执行 wordcount 时,job 卡住不继续执行? at 2018-01-23 13:38:44

    @青牛 感谢大哥,按你的方法执行成功了

  • hadoop 在执行 wordcount 时,job 卡住不继续执行? at 2018-01-23 10:28:04

    @青牛

    调整了配置文件,现在报这个错误。yarn资源调度失败。

    file

  • hadoop 在执行 wordcount 时,job 卡住不继续执行? at 2018-01-22 17:33:39

    @大中
    对,虚拟机搭的。刚才青牛老师回答了,你也试试。没问题了过来回个贴。

    file

  • hadoop 在执行 wordcount 时,job 卡住不继续执行? at 2018-01-21 23:05:00

    打印日志发现一直在循环这个操作,访问http://192.168.43.219:8032/

    提示:It looks like you are making an HTTP request to a Hadoop IPC port. This is not the correct port for the web

    interface on this daemon.

    file

  • Hadoop 部署集群时节点无法启动问题? at 2018-01-21 20:42:58

    是配置问题,感谢青年大哥。

  • Hadoop 部署集群时节点无法启动问题? at 2018-01-19 22:53:50

    @青牛

    青牛大哥,现在有两个问题请教你。
    1、hdfs-site.xml里的地址配置。主机和节点的是一样的吗?
    比如下图我这个配置对吗?

    节点配置

    file

    主机配置

    file

    2、我发现在节点上执行start-dfs.sh可以启动当前节点和主机。
    但是主机只能启动自己。这个是什么原因?

    file

  • Hadoop 部署集群时节点无法启动问题? at 2018-01-19 17:30:07

    @青牛 环境变量应该没问题。挺奇怪的。

    file
    file

  • Hadoop 部署集群时节点无法启动问题? at 2018-01-19 16:08:24

    @青牛
    参考青牛哥的配置改了一下

    file

    不过还是没有启动,部分dubug信息,markdown语法目前没有高亮显示:

    [hadoop@master hadoop]$ sh -x start-dfs.sh
    + this=/usr/local/hadoop/sbin/start-dfs.sh
    +++ dirname -- /usr/local/hadoop/sbin/start-dfs.sh
    ++ cd -P -- /usr/local/hadoop/sbin
    ++ pwd -P
    + bin=/usr/local/hadoop-3.0.0/sbin
    + [[ -n /usr/local/hadoop ]]
    + HADOOP_DEFAULT_LIBEXEC_DIR=/usr/local/hadoop/libexec
    + HADOOP_LIBEXEC_DIR=/usr/local/hadoop/libexec
    + HADOOP_NEW_CONFIG=true
    + [[ -f /usr/local/hadoop/libexec/hdfs-config.sh ]]
    + . /usr/local/hadoop/libexec/hdfs-config.sh
    ++ [[ -z /usr/local/hadoop/libexec ]]
    ++ [[ -n '' ]]
    ++ [[ -e /usr/local/hadoop/libexec/hadoop-config.sh ]]
    ++ . /usr/local/hadoop/libexec/hadoop-config.sh
    +++ [[ -z 4 ]]
    +++ [[ 4 -lt 3 ]]
    +++ [[ 4 -eq 3 ]]
    +++ [[ -z /usr/local/hadoop/libexec ]]
    +++ [[ -n '' ]]
    +++ [[ -e /usr/local/hadoop/libexec/hadoop-functions.sh ]]
    +++ . /usr/local/hadoop/libexec/hadoop-functions.sh
    ++++ declare -a HADOOP_SUBCMD_USAGE
    ++++ declare -a HADOOP_OPTION_USAGE
    ++++ declare -a HADOOP_SUBCMD_USAGE_TYPES
    /usr/local/hadoop/libexec/hadoop-functions.sh:行398: 未预期的符号 `<' 附近有语法错误
    /usr/local/hadoop/libexec/hadoop-functions.sh:行398: `  done < <(for text in "${input[@]}"; do'
    +++ hadoop_deprecate_envvar HADOOP_PREFIX HADOOP_HOME
    /usr/local/hadoop/libexec/hadoop-config.sh:行70: hadoop_deprecate_envvar: 未找到命令
    +++ [[ -n '' ]]
    +++ [[ -e /usr/local/hadoop/libexec/hadoop-layout.sh ]]
    +++ hadoop_bootstrap
    /usr/local/hadoop/libexec/hadoop-config.sh:行87: hadoop_bootstrap: 未找到命令
    +++ HADOOP_USER_PARAMS=("$@")
    +++ hadoop_parse_args
    /usr/local/hadoop/libexec/hadoop-config.sh:行104: hadoop_parse_args: 未找到命令
    +++ shift ''
    /usr/local/hadoop/libexec/hadoop-config.sh: 第 105 行:shift: : 需要数字参数
    +++ hadoop_find_confdir
    /usr/local/hadoop/libexec/hadoop-config.sh:行110: hadoop_find_confdir: 未找到命令
    +++ hadoop_exec_hadoopenv
    /usr/local/hadoop/libexec/hadoop-config.sh:行111: hadoop_exec_hadoopenv: 未找到命令
    +++ hadoop_import_shellprofiles
    /usr/local/hadoop/libexec/hadoop-config.sh:行112: hadoop_import_shellprofiles: 未找到命令
    +++ hadoop_exec_userfuncs
    /usr/local/hadoop/libexec/hadoop-config.sh:行113: hadoop_exec_userfuncs: 未找到命令
    +++ hadoop_exec_user_hadoopenv
    /usr/local/hadoop/libexec/hadoop-config.sh:行119: hadoop_exec_user_hadoopenv: 未找到命令
    +++ hadoop_verify_confdir
    /usr/local/hadoop/libexec/hadoop-config.sh:行120: hadoop_verify_confdir: 未找到命令
    +++ hadoop_deprecate_envvar HADOOP_SLAVES HADOOP_WORKERS
    /usr/local/hadoop/libexec/hadoop-config.sh:行122: hadoop_deprecate_envvar: 未找到命令
    +++ hadoop_deprecate_envvar HADOOP_SLAVE_NAMES HADOOP_WORKER_NAMES
    /usr/local/hadoop/libexec/hadoop-config.sh:行123: hadoop_deprecate_envvar: 未找到命令
    +++ hadoop_deprecate_envvar HADOOP_SLAVE_SLEEP HADOOP_WORKER_SLEEP
    /usr/local/hadoop/libexec/hadoop-config.sh:行124: hadoop_deprecate_envvar: 未找到命令
    +++ hadoop_os_tricks
    /usr/local/hadoop/libexec/hadoop-config.sh:行129: hadoop_os_tricks: 未找到命令
    +++ hadoop_java_setup
    /usr/local/hadoop/libexec/hadoop-config.sh:行131: hadoop_java_setup: 未找到命令
    +++ hadoop_basic_init
    /usr/local/hadoop/libexec/hadoop-config.sh:行133: hadoop_basic_init: 未找到命令
    +++ declare -F hadoop_subproject_init
    +++ hadoop_subproject_init
    +++ [[ -z '' ]]
    +++ [[ -e /hdfs-env.sh ]]
    +++ hadoop_deprecate_envvar HADOOP_HDFS_LOG_DIR HADOOP_LOG_DIR
    /usr/local/hadoop/libexec/hdfs-config.sh:行38: hadoop_deprecate_envvar: 未找到命令
    +++ hadoop_deprecate_envvar HADOOP_HDFS_LOGFILE HADOOP_LOGFILE
    /usr/local/hadoop/libexec/hdfs-config.sh:行40: hadoop_deprecate_envvar: 未找到命令
    +++ hadoop_deprecate_envvar HADOOP_HDFS_NICENESS HADOOP_NICENESS
    /usr/local/hadoop/libexec/hdfs-config.sh:行42: hadoop_deprecate_envvar: 未找到命令
    +++ hadoop_deprecate_envvar HADOOP_HDFS_STOP_TIMEOUT HADOOP_STOP_TIMEOUT
    /usr/local/hadoop/libexec/hdfs-config.sh:行44: hadoop_deprecate_envvar: 未找到命令
    +++ hadoop_deprecate_envvar HADOOP_HDFS_PID_DIR HADOOP_PID_DIR
    /usr/local/hadoop/libexec/hdfs-config.sh:行46: hadoop_deprecate_envvar: 未找到命令
    +++ hadoop_deprecate_envvar HADOOP_HDFS_ROOT_LOGGER HADOOP_ROOT_LOGGER
    /usr/local/hadoop/libexec/hdfs-config.sh:行48: hadoop_deprecate_envvar: 未找到命令
    +++ hadoop_deprecate_envvar HADOOP_HDFS_IDENT_STRING HADOOP_IDENT_STRING
    /usr/local/hadoop/libexec/hdfs-config.sh:行50: hadoop_deprecate_envvar: 未找到命令
    +++ hadoop_deprecate_envvar HADOOP_DN_SECURE_EXTRA_OPTS HDFS_DATANODE_SECURE_EXTRA_OPTS
    /usr/local/hadoop/libexec/hdfs-config.sh:行52: hadoop_deprecate_envvar: 未找到命令
    +++ hadoop_deprecate_envvar HADOOP_NFS3_SECURE_EXTRA_OPTS HDFS_NFS3_SECURE_EXTRA_OPTS
    /usr/local/hadoop/libexec/hdfs-config.sh:行54: hadoop_deprecate_envvar: 未找到命令
    +++ hadoop_deprecate_envvar HADOOP_SECURE_DN_USER HDFS_DATANODE_SECURE_USER
    /usr/local/hadoop/libexec/hdfs-config.sh:行56: hadoop_deprecate_envvar: 未找到命令
    +++ hadoop_deprecate_envvar HADOOP_PRIVILEGED_NFS_USER HDFS_NFS3_SECURE_USER
    /usr/local/hadoop/libexec/hdfs-config.sh:行58: hadoop_deprecate_envvar: 未找到命令
    +++ HADOOP_HDFS_HOME=/usr/local/hadoop
    +++ export HDFS_AUDIT_LOGGER=INFO,NullAppender
    +++ HDFS_AUDIT_LOGGER=INFO,NullAppender
    +++ export HDFS_NAMENODE_OPTS=-Dhadoop.security.logger=INFO,RFAS
    +++ HDFS_NAMENODE_OPTS=-Dhadoop.security.logger=INFO,RFAS
    +++ export HDFS_SECONDARYNAMENODE_OPTS=-Dhadoop.security.logger=INFO,RFAS
    +++ HDFS_SECONDARYNAMENODE_OPTS=-Dhadoop.security.logger=INFO,RFAS
    +++ export HDFS_DATANODE_OPTS=-Dhadoop.security.logger=ERROR,RFAS
    +++ HDFS_DATANODE_OPTS=-Dhadoop.security.logger=ERROR,RFAS
    +++ export HDFS_PORTMAP_OPTS=-Xmx512m
    +++ HDFS_PORTMAP_OPTS=-Xmx512m
    +++ export 'HDFS_DATANODE_SECURE_EXTRA_OPTS=-jvm server'
    +++ HDFS_DATANODE_SECURE_EXTRA_OPTS='-jvm server'
    +++ export 'HDFS_NFS3_SECURE_EXTRA_OPTS=-jvm server'
    +++ HDFS_NFS3_SECURE_EXTRA_OPTS='-jvm server'
    +++ hadoop_shellprofiles_init
    /usr/local/hadoop/libexec/hadoop-config.sh:行140: hadoop_shellprofiles_init: 未找到命令
    +++ hadoop_add_javalibpath /usr/local/hadoop/build/native
    /usr/local/hadoop/libexec/hadoop-config.sh:行143: hadoop_add_javalibpath: 未找到命令
    +++ hadoop_add_javalibpath /usr/local/hadoop/
    /usr/local/hadoop/libexec/hadoop-config.sh:行144: hadoop_add_javalibpath: 未找到命令
    +++ hadoop_shellprofiles_nativelib
    /usr/local/hadoop/libexec/hadoop-config.sh:行146: hadoop_shellprofiles_nativelib: 未找到命令
    +++ hadoop_add_common_to_classpath
    /usr/local/hadoop/libexec/hadoop-config.sh:行152: hadoop_add_common_to_classpath: 未找到命令
    +++ hadoop_shellprofiles_classpath
    /usr/local/hadoop/libexec/hadoop-config.sh:行153: hadoop_shellprofiles_classpath: 未找到命令
    +++ hadoop_exec_hadooprc
    /usr/local/hadoop/libexec/hadoop-config.sh:行157: hadoop_exec_hadooprc: 未找到命令
    +++ [[ -z true ]]
    + [[ 0 -ge 1 ]]
    + nameStartOpt=' '
    ++ /usr/local/hadoop/bin/hdfs getconf -namenodes
    + NAMENODES=master.hadoop
    + [[ -z master.hadoop ]]
    + echo 'Starting namenodes on [master.hadoop]'
    Starting namenodes on [master.hadoop]
    + hadoop_uservar_su hdfs namenode /usr/local/hadoop/bin/hdfs --workers --config '' --hostnames master.hadoop --daemon start namenode
    + declare program=hdfs
    + declare command=namenode
    + shift 2
    + declare uprogram
    + declare ucommand
    + declare uvar
    + declare svar
    + hadoop_privilege_check
    + [[ 1000 = 0 ]]
    + /usr/local/hadoop/bin/hdfs --workers --config '' --hostnames master.hadoop --daemon start namenode
    ERROR: No parameter provided for --config
    Usage: hdfs [OPTIONS] SUBCOMMAND [SUBCOMMAND OPTIONS]
  • Hadoop 部署集群时节点无法启动问题? at 2018-01-18 17:50:46

    是不是哪里配置错了

  • Hadoop 部署集群时节点无法启动问题? at 2018-01-18 17:48:39

    @青牛
    嗯,ssh是好的。

    file

  • Hadoop 50070 端口没有监听? at 2018-01-17 18:12:34

    问题已解决。
    DateNode报错是因为格式化了集群2次导致clusterID不一致。
    修改datanode的version的id与namenode中一致后重启即可。
    页面无法访问是由于Linux防火墙未关闭。感谢青牛大哥。

    file