老师你好,我在进行HDFS动态节点增加时,配置了新的数据节点之后,在名称节点hdfs dfsadmin -refreshNodes
也不能让新的数据节点被识别,必须要保存镜像重启实验才行。同样负载均衡也不能让在同一次实验内让新的数据节点参与进来,也要重启实验才生效。
我使用的组件是Hadoop+Linux,是否是这个原因吗,需要所有机器都从Linux开始配置吗
老师你好,我在进行HDFS动态节点增加时,配置了新的数据节点之后,在名称节点hdfs dfsadmin -refreshNodes
也不能让新的数据节点被识别,必须要保存镜像重启实验才行。同样负载均衡也不能让在同一次实验内让新的数据节点参与进来,也要重启实验才生效。
我使用的组件是Hadoop+Linux,是否是这个原因吗,需要所有机器都从Linux开始配置吗
跟我们平台的 重启实验 没关系,是你自己安装的问题,是不是新的linux机器没配置好。你想想为什么重启实验好使?因为重启实验同样会重启你的hadoop程序,也就是说你现在的情况是不能动态添加只能重启整个hadoop集群来解决
@青牛 那我应该怎样排查是哪里的问题呀老师,我java和hadoop的环境变量都没问题,/usr/local/hadoop-2.7.3/etc/
下面放的是/public/config/hdfs_conf.tar.gz
解压过来的,/etc/hosts
和/etc/hostname
所有机器都改了,/usr/local/hadoop-2.7.3/etc/hadoop/slaves
里也添加了新的节点,然后就是我新节点下面的/opt
是在其他数据节点拷过来的,因为安装完hadoop这个目录也是空的。那个hadoop组件里所有节点都是root用户登录的我也就没配新节点的免密登录。
还有就是我发现在重启实验之后新节点的进程里才有NodeManager,在重启之前只有Jps和DataNode,不知道这个现象能不能看出为什么只有重启实验之后新的节点才能被识别。
@qiqiqiqiq 问题已解决,slaves文件应该修改/opt下的hadoop而不是/usr/local下的hadoop。