2. 软件开发
    3. Centos7之Hadoop完全分布式集群搭建和配置

    Centos7之Hadoop完全分布式集群搭建和配置

    xiaoxiao2025-07-18  6

    本文基于jdk-1.8.0_121， hadoop-2.7.3 主机：centos01 ip：192.168.233.128 从机1：centos02 ip：192.168.233.131 从机2：centos03 ip：192.168.233.132 以下操作在Xshell里面完成 1.关闭防火墙 firewall-cmd --state 显示防火墙状态running/not running systemctl stop firewalld 临时关闭防火墙，每次开机重新开启防火墙 systemctl disable firewalld 禁止防火墙服务。 2.传输JDK和HADOOP压缩包（在这里我们先配置主机然后再复制到从机） 到官网下载jdk-8u121-linux-x64.tar.gz 和hadoop-2.7.3.tar.gz安装包，使用Xshell里的xftp把安装包传到主机里 3.解压JDK、HADOOP

    tar -zxvf jdk-8u121-linux-x64.tar.gz -C /opt/module

    解压安装

    tar -zxvf hadoop-2.7.3.tar.gz -C /opt/module

    解压安装 4.配置JDK并生效

    vi /etc/profile

    文件添加：

    export JAVA_HOME=/opt/module/jdk1.8.0_121 export PATH=$JAVA_HOME/bin:$PATH

    Esc :wq!保存并退出。 不需要配置CLASSPATH。 source /etc/profile 配置生效 运行命令 java -version， 检验是否成功。 5.配置HADOOP并生效 vi /etc/profile 文件添加：

    export HADOOP_HOME=/opt/module/hadoop-2.7.3 export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

    Esc :wq!保存并退出。 source /etc/profile配置生效 运行命令hadoop，检验是否成功。 6.修改主机Hadoop5个配置文件 二、修改以下5个配置文件 在与之间添加如下property： 1，core-site.xml

    <!--配置HDFS主节点，namenode的地址，9000是RPC通信端口--> <property> <name>fs.defaultFS</name> <value>hdfs://bigdata128:9000</value> </property> <!--配置HDFS数据块和元数据保存的目录，一定要修改--> <property> <name>hadoop.tmp.dir</name> <value>/opt/module/hadoop-2.7.3/tmp</value> </property>

    2，hdfs-site.xml

    <!--注释配置数据块的冗余度，默认是3--> <property> <name>dfs.replication</name> <value>3</value> </property> <!--secondaryNameNode的主机地址--> <property> <name>dfs.namenode.secondary.http-address</name> <value>bigdata128:50090</value> </property>

    3，mapred-site.xml cp mapred-site.xml.template mapred-site.xml

    <!--配置MR程序运行的框架--> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>

    4，yarn-site.xml

    <!--配置Yarn的节点--> <property> <name>yarn.resourcemanager.hostname</name> <value>bigdata128</value> </property> <!--NodeManager执行MR任务的方式是Shuffle洗牌--> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>

    5，slaves配置文件 三台虚拟机分别都运行命令 vi /opt/module/hadoop-2.7.3/etc/hadoop slaves 修改slaves为：

    centos02 centos03

    6，修改\etc\hosts配置文件 三台虚拟机分别都运行命令 vi /etc /hosts 注释已有内容，添加集群三台虚拟机的ip及对应主机名：

    192.168.233.128 centos01 192.168.233.131 centos02 192.168.233.132 centos03

    7，修改/etc/hostname配置文件 三台虚拟机分别都运行命令

    vi /etc /hostname

    添加各自的主机名centos01或者centos02或者centos03。 8，复制配置好的hadoop,jdk和配置文件到从机 在主机上运行复制命令：

    scp -r /opt/module/jdk1.8.0_121 root@centos02:/opt/module scp -r /opt/module/jdk1.8.0_121 root@centos03:/opt/module scp -r /opt/module/hadoop-2.7.3 root@centos02:/opt/module scp -r /opt/module/hadoop-2.7.3 root@centos03:/opt/module scp -r /etc/profile root@centos02:/etc/profile scp -r /etc/profile root@centos03:/etc/profile scp -r /etc/hosts root@centos02:/etc/hosts scp -r /etc/hosts root@centos03:/etc/hosts

    重启全部虚拟机，主机名生效。 9，格式化 在主节点centos01上面输入格式化命令hdfs namenode -format，格式化集群。 注：如果不是第一次格式化，三台虚拟机都删除/opt/module/hadoop-2.7.3下面的tmp、logs目录：rm –rf /optmodule/hadoop-2.7.3/tmp rm –rf /opt/module/hadoop-2.7.3/logs 注：如果格式化之前启动过集群，先在主节点bigdata128上面停止集群（stop-all.sh），再格式化。 10，启动集群 在主节点centos01上面输入启动命令start-all.sh，启动集群。 输入jps命令 启动正常jps显示3台主机如上如下：

    在Windows浏览器中访问网址http://192.168.233.128:50070显示如下（在Windows中需要配置hosts文件，需添加

    192.168.233.128 centos01 192.168.233.131 centos02 192.168.233.132 centos03

    最新回复(0)