1 hadoop的windows伪分布式环境部署
1.1 需要的软件
winutils-master:windows模拟linux 环境
hadoop-2.7.3.tar.gz:hadoop编译后的包
hadoop_conf.tar:hadoop的配置
hadoop_windows.zip:windows的hadoop配置
1.2 前提:需要修改通知级别
win10
1.3 压缩文件解压顺序及方法
1) 解压hadoop-2.7.3.tar.gz,到C盘的某个目录下;
2) 解压winutils-master.zip,将解压的hadoop-2.7.1/bin文件夹内的内容拷贝到hadoop-2.7.3\bin目录下,
注意,千万别覆盖bin目录下的其他文件;
3) 解压hadoop_conf.tar, 然后将解压的hadoop文件夹内的内容替换到hadoop-2.7.3\etc\hadoop目录下;
4) 解压hadoop-window.zip,然后将解压的hadoop文件夹内的内容做修改后,替换到hadoop-2.7.3\etc\hadoop;
1.4 在WINDOWS上配置环境变量
1)HADOOP_HOME
2)把hadoop的bin和sbin配置到path环境变量里
;%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin
1.5 设置hadoop配置文件
core-site.xml
hdfs-site.xml
maprd-site.xml
yarn-site.xml
hadoop-env.cmd
把修改好的配置文件覆盖hadoop-2.7.3\etc\hadoop目录
1.6 测试hadoop命令
win10支持Linux命令的工具:windows powershell 工具
打开cmd输入set查看设置的环境变成是否生效
输入hadoop version查看hadoop的版本
1.7 格式化namenode
hadoop namenode -format
1.8 启动hdfs
start-dfs.cmd 之后弹出两个窗口
namenode
datanode
当报这个错误的时候,是因为要找nn2.hadoop
之后在电脑上的c盘就能看到tmp目录,里面有namenode文件和datanode文件
启动成功之后就可以查看hdfs的web页面
1.9 启动yarn
start-yarn.cmd之后弹出两个窗口
resourceManager
nodeManager
查看yarn的web界面
1.10 测试hdfs是否好用
1.11 开启和关闭
start-all.cmd开启hadoop
stop-all.cmd关闭hadoop
注意:
我们搭建伪集群的目的,是为后面开发程序做准备,不需要启动,搭建完即可。