使用伪分布式搭建hadoop集群

一、先准备需要的工具包 二、配置基础环境 1、使用CRT工具上传hadoop包 2、将hadoop安装上传压缩 tar -zxvf hadoop-2.7.3.tar.gz -C /opt/module 3、配置环境变量vi /etc/profile，重新加载/etc/profile，使配置生效source /etc/profile 4、输入hadoop，java查看配置是否生效

三、Hadoop的配置 1、进入hadoop-2.7.1的配置目录： cd opt/module/hadoop-2.7.3/etc/hadoop/ 依次配置core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。 这里的mapred-site.xml需要从mapred-site.xml.template复制过去。 配置如下： 在与之间添加如下property： ①core-site.xml

fs.defaultFS hdfs://zwb:9000 hadoop.tmp.dir /opt/module/hadoop-2.7.3/tmp

②hdfs-site.xml

dfs.replication 1 dfs.namenode.secondary.http-address zwb:50090

③mapred-site.xml(该配置文件不存在，先复制) cp mapred-site.xml.template mapred-site.xml

mapreduce.framework.name yarn

④yarn-site.xml

yarn.resourcemanager.hostname zwb yarn.nodemanager.aux-services mapreduce_shuffle

四、配置host 1、vi /etc/hosts ：添加自己的ip和主机名 2、vi /etc/hostname：修改主机名 3、重启：reboot

五、格式化 hdfs namenode -format （如果不是第一次格式化，格式化之前先删除/opt/module/hadoop-2.7.3/下面的tmp、logs两个目录）

六、启动 start-all.sh （如果启动之前已经启动过，启动之前先停止stop-all.sh）(启动记得关闭防火墙) 查看伪分布式配置是否成功：执行jps，如下图所示，NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager如果全部启动，伪分布式配置成功。

七、检验 通过浏览器访问：192.168.21.10：50070、192.168.21.10：8088，如果成功进入，说明启动成功