Hadoop集群

    xiaoxiao2022-06-30  143

    目的

    了解如何安装、配置和管理有实际意义的Hadoop集群,其规模可从几个节点的小集群到几千个节点的超大集群。

    先决条件

    一、确保在你集群中的每个节点上都安装了所有必需软件。

    二、获取Hadoop软件包。

    安装

    安装Hadoop集群通常要将安装软件解压到集群内的所有机器上。

    集群配置

    要配置Hadoop集群,你需要设置Hadoop守护进程的运行环境和Hadoop守护进程的运行参数。

    Hadoop守护进程指NameNode/DataNode 和JobTracker/TaskTracker。

    配置Hadoop守护进程的运行环境

    管理员可在conf/hadoop-env.sh脚本内对Hadoop守护进程的运行环境做特别指定。

    设定JAVA_HOME使之在每一远端节点上都被正确设置。

    启动Hadoop

    启动Hadoop集群需要启动HDFS集群和Map/Reduce集群。

    格式化一个新的分布式文件系统: $ bin/hadoop namenode -format

    在分配的NameNode上,运行下面的命令启动HDFS: $ bin/start-dfs.sh

    bin/start-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容,在所有列出的slave上启动DataNode守护进程。

    在分配的JobTracker上,运行下面的命令启动Map/Reduce: $ bin/start-mapred.sh

    bin/start-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容,在所有列出的slave上启动TaskTracker守护进程。

    停止Hadoop

    在分配的NameNode上,执行下面的命令停止HDFS: $ bin/stop-dfs.sh

    bin/stop-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容,在所有列出的slave上停止DataNode守护进程。

    在分配的JobTracker上,运行下面的命令停止Map/Reduce: $ bin/stop-mapred.sh 

    bin/stop-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容,在所有列出的slave上停止TaskTracker守护进程。

    Hadoop完全分布式模式配置

    一、新建另外两台Linux虚拟机

    完全分布式模式共三台虚拟机,前述伪分布式的虚拟机(bigdata128)作为master主节点,克隆另外两个虚拟机(bigdata129、bigdata131)作为slaves子节点,克隆机自带安装JDK、Hadoop及配置文件。

    注:此配置是为学习所用,且电脑资源有限,因此照搬伪分布式配置,将NameNode、SecondaryNameNode、ResourceManager全部配置在主节点bigdata128上面,实际情况则相反,应该分别配置在不同的节点上面。

    二、修改以下配置文件

    ①slaves配置文件

    三台虚拟机分别都运行命令  vi  /opt/module/hadoop-2.7.3/etc/hadoop  slaves

    修改(vi)slaves为:

    bigdata129

    bigdata131

    ②修改\etc\hosts配置文件

    三台虚拟机分别都运行命令  vi  \etc  hosts

    注释已有内容,添加集群三台虚拟机的ip及对应主机名:

    192.168.163.128  bigdata128

    192.168.163.129  bigdata129

    192.168.163.131  bigdata131

    ③修改\etc\hostname配置文件

    三台虚拟机分别都运行命令  vi  \etc  hostname

    添加各自的主机名bigdata128或者bigdata129或者bigdata131。

    重启全部虚拟机,主机名生效。

    三、格式化

    在主节点bigdata128上面输入格式化命令(hdfs namenode -format),格式化集群。

    注:如果不是第一次格式化,三台虚拟机都删除\opt\module\hadoop-2.7.3\下面的tmp、logs目录:rm –rf \opt\module\hadoop-2.7.3\tmp    rm –rf \opt\module\hadoop-2.7.3\logs

    注:如果格式化之前启动过集群,先在主节点bigdata128上面停止集群(stop-all.sh),再格式化。

    四、启动集群

    在主节点bigdata128上面输入启动命令(start-all.sh),启动集群。 


    最新回复(0)