阅读目录(Content) 一、Hadoop的三种运行模式（启动模式） 1.1、单机模式（独立模式）（Local或Standalone Mode） 1.2、伪分布式模式（Pseudo-Distrubuted Mode） 1.3、全分布式集群模式（Full-Distributed Mode） 二、搭建伪分布式集群的前提条件 2.1、能够正常运行的Ubuntu操作系统 2.2、安装JDK，并配置环境变量 三、搭建伪分布式集群 3.1、安装hadoop 3.2、配置hadoop 3.3、启动集群四、一个问题前言 前面只是大概介绍了一下Hadoop，现在就开始搭建集群了。我们下尝试一下搭建一个最简单的集群。之后为什么要这样搭建会慢慢的分享，先要看一下效果吧！回到顶部(go to top)一、Hadoop的三种运行模式（启动模式
1.1、单机模式（独立模式）（Local或Standalone Mode） -默认情况下，Hadoop即处于该模式，用于开发和调式。 -不对配置文件进行修改。 -使用本地文件系统，而不是分布式文件系统。 -Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程，Map()和Reduce()任务作为同一个进程的不同部分来执行的。 -用于对MapReduce程序的逻辑进行调试，确保程序的正确。 1.2、伪分布式模式（Pseudo-Distrubuted Mode） -Hadoop的守护进程运行在本机机器，模拟一个小规模的集群 -在一台主机模拟多主机。 -Hadoop启动NameNode、DataNode、JobTracker、TaskTracker这些守护进程都在同一台机器上运行，是相互独立的Java进程。 -在这种模式下，Hadoop使用的是分布式文件系统，各个作业也是由JobTraker服务，来管理的独立进程。在单机模式之上增加了代码调试功能，允许检查内存使用情况，HDFS输入输出， 以及其他的守护进程交互。类似于完全分布式模式，因此，这种模式常用来开发测试Hadoop程序的执行是否正确。 -修改3个配置文件：core-site.xml（Hadoop集群的特性，作用于全部进程及客户端）、hdfs-site.xml（配置HDFS集群的工作属性）、mapred-site.xml（配置MapReduce集群的属性） -格式化文件系统 1.3、全分布式集群模式（Full-Distributed Mode） -Hadoop的守护进程运行在一个集群上 -Hadoop的守护进程运行在由多台主机搭建的集群上，是真正的生产环境。 -在所有的主机上安装JDK和Hadoop，组成相互连通的网络。 -在主机间设置SSH免密码登录，把各从节点生成的公钥添加到主节点的信任列表。 -修改3个配置文件：core-site.xml、hdfs-site.xml、mapred-site.xml，指定NameNode和JobTraker的位置和端口，设置文件的副本等参数 -格式化文件系统回到顶部(go to top) 二、搭建伪分布式集群的前提条件环境：在ubuntu17.04 jdk1.8.0_131 hadoop 2.8.12.1、能够正常运行的Ubuntu操作系统 在Ubuntu下，软件安装到/opt下，当前正在使用的用户，对于opt目录需要 有读写权限： 1）将opt的权限给为777（漏洞文件），不推荐在生产环境中使用。但是可以在学习和调试环境中使用。 2）sudo 在启动Hadoop的各个守护进程的时候，需要使用sudo。 在管理Hadoop的时候，实际上由不同的用户启动不同集群的守护进程。 统一使用当前的用户管理所有集群。 3）该目录的所有者设置为当前用户2.2、安装JDK，并配置环境变量 1）将jdk安装包放在家目录下 2）解压到opt目录下 sudo tar zxvf jdk-8u131-linux-x64.tar.gz -C /opt 此时在/opt目录下：会有一个jdk1.8.0_131 3）创建软链接 sudo ln -snf /opt/jdk1.8.0_131 /opt/jdk 注意：创建软连接的目的是为了，我们在做项目的时候，可能会用到不同的jdk版本，这是要换软件的话，只需要修改软链接就可以了。而不用修改配置文件。 4）配置环境变量 局部环境变量：~/.bashrc 全局环境变量：/etc/profile export JAVA_HOME=/opt/jdk export JRE_HOME= J A V A H O M E / j r e e x p o r t C L A S S P A T H = . : JAVA_HOME/jre export CLASSPATH=.: JAVAHOME/jre exportCLASSPATH=.:JAVA_HOME/lib export PATH= P A T H : PATH: PATH:JAVA_HOME/bin source 相关文件（更新配置文件） 5）查看是否安装成功 java、javac、java -version回到顶部(go to top)三、搭建伪分布式集群3.1、安装hadoop 1）解压hadoop安装包到opt目录下 sudo tar zxvf hadoop-2.8.1.tar.gz -C /opt 2）创建软链接 ln -snf /opt/hadoop-2.8.1 /opt/hadoop 3）配置环境变量 在/etc/profile文件中加入以下内容： export HADOOP_HOME=/opt/hadoop export PATH= P A T H : PATH: PATH:HADOOP_HOME/bin: H A D O O P H O M E / s b i n s o u r c e / e t c / p r o f i l e 4 ） 使 用 h a d o o p v e r s i o n 命 令 测 试 是 否 配 置 成 功 3.2 、 配 置 h a d o o p 配 置 文 件 存 放 在 / o p t / h a d o o p / e t c / h a d o o p 中 有 n 多 个 文 件 ， 暂 时 我 们 只 需 要 修 改 的 只 有 5 个 1 ） h a d o o p − e n v . s h 大 约 在 25 行 左 右 e x p o r t J A V A H O M E = HADOOP_HOME/sbin source /etc/profile 4）使用hadoop version命令测试是否配置成功 3.2、配置hadoop 配置文件存放在/opt/hadoop/etc/hadoop中有n多个文件，暂时我们只需要修改的只有5个 1）hadoop-env.sh 大约在25行左右 export JAVA_HOME= HADOOPHOME/sbin source/etc/profile 4）使用hadoopversion命令测试是否配置成功 3.2、配置hadoop 配置文件存放在/opt/hadoop/etc/hadoop中有n多个文件，暂时我们只需要修改的只有5个 1）hadoop−env.sh 大约在25行左右 exportJAVAHOME={JAVA_HOME}改成export JAVA_HOME=/opt/jdk 注意：在配置文件中有提示我们怎么设置，我们一般不删除，二回选择注释它的提示。 2）core-site.xml fs.defaultFS hdfs://1.0.0.5:9000 分析：1.0.0.5是你主节点所在主机的ip，而9000为端口 3）hdfs-site.xml dfs.nameservices hadoop-cluster dfs.namenode.name.dir file:///data/hadoop/hdfs/nn dfs.namenode.ch eckpoint.dir file:///data/hadoop/hdfs/snn dfs.namenode.checkpoint.edits.dir file:///data/hadoop/hdfs/snn dfs.datanode.data.dir file:///data/hadoop/hdfs/dn 4）mapred-site.xml 在hadoop的相关目录中没有此文件，但是有一个mapred-site.xml.template文件，将该文件复制一份为mapred-site.xml cp mapred-site.xml.template mapred-site.xml mapreduce.framework.name yarn 5）yarn-site.xml yarn.resourcemanager.hostname 1.0.0.5 yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.local-dirs file:///data/hadoop/yarn/nm 7）创建相关目录 sudo mkdir -p /data/hadoop/hdfs/nn sudo mkdir -p /data/hadoop/hdfs/dn sudo mkdir -p /data/hadoop/hdfs/snn sudo mkdir -p /data/hadoop/yarn/nm 注意： 如果使用sudo启动hadoop的相关进程，这几目录的权限可以不用管。 如果是使用当前的用户启动相关进程，对于opt目录，当前用户得有读写权限，对于/data目录也需要读写权限。 遇到问题： 笔者就是在这个目录权限的问题吃el很大得亏。首先为了不使用sudo我将/data目录的权限修改为777，然后进行 HDFS集群格式化的时候，出现： 这时我在想为什么呢？原来我只是给data目录设置了读写权限，但是没有给它的子目录设置读写权限。所以： chmod -R 777 /data 递归设置权限 8）对HDFS集群进行格式化，HDFS集群是用来存储数据的。 hdfs namenode -format3.3、启动集群 1）启动HDFS集群 hadoop-daemon.sh start namenode 启动主节点 hadoop-daemon.sh start datanode 启动从节点 2）启动YARN集群 yarn-daemon.sh start resourcemanager yarn-daemon.sh start nodemanager 3）启动作业历史服务器 mr-jobhistory-daemon.sh start historyserver 4）jps命令查看是否启动成功 5）HDFS和YARN集群都有相对应的WEB监控页面 HDFS：http://ip:50070 YARN：http://ip:8088 6）HDFS集群的简单操作命令 hdfs dfs -ls / hdfs dfs -mkdir -p /user/zyh 7） YARN集群的操作----提交任务/作业 计算PI值的作业： yarn jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar pi 4 100 回到顶部(go to top) 四、一个问题我之前没有注意发现我的yarn的从节点没有启动起来，在执行计算PI值的时候没有成功才看到： 查看日志发现是配置文件： 在hdfs-site-web.xml中： 查看http://1.0.0.5:50070可以查看从节点是否启动： 在执行上面使用yarn集群来计算pi值得命令： 查看http://1.0.0.5:8088可以看出计算pi值得任务正在执行： 最后成功： 终端中会显示执行结果！
