2. 软件开发
    3. 大数据实验一——Hadoop

    大数据实验一——Hadoop

    xiaoxiao2025-06-16  8

    实验步骤：

    VMWare 12安装CentOS7安装SecureCRT安装打开SecureCRT连接虚拟机解压并配置JDK、Hadoop

    vi /etc/profile文件添加：

    export JAVA_HOME=/opt/module/jdk1.8.0_121

    export PATH=$JAVA_HOME/bin:$PATH

    export HADOOP_HOME=/opt/module/hadoop-2.7.3

    export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

    Esc :wq!保存并退出

    source /etc/profile配置生效

    javac 、hadoop检验是否成功

    5、本地模式配置hadoop -env.sh

    vi /opt/module/hadoop-2.7.3/etc/hadoop/hadoop-env.sh文件修改

    显示行号 Esc :set number    取消行号Esc :set nonumber

    修改第25行export JAVA_HOME=/opt/module/jdk1.8.0_121

    Esc :wq!保存并退出

    6、配置以下文件：.core-site.xml、hdfs-site.xml，mapred-site.xml，

    ①.core-site.xml

    <!--配置HDFS主节点，namenode的地址，9000是RPC通信端口-->

    <property>

            <name>fs.defaultFS</name>

            <value>hdfs://bigdata128:9000</value>

    </property>

    <!--配置HDFS数据块和元数据保存的目录，一定要修改-->

    <property>

            <name>hadoop.tmp.dir</name>

            <value>/opt/module/hadoop-2.7.3/tmp</value>

    </property>

     

    ②hdfs-site.xml

    <!--注释配置数据块的冗余度，默认是3-->  

    <property>  

         <name>dfs.replication</name>  

         <value>1</value>  

    </property>

    <!--secondaryNameNode的主机地址--> 

    <property>

             <name>dfs.namenode.secondary.http-address</name>

             <value>bigdata129:50090</value>

    </property>

     

    ③mapred-site.xml

    cp  mapred-site.xml.template  mapred-site.xml  

    <!--配置MR程序运行的框架-->  

    <property>  

      <name>mapreduce.framework.name</name>

      <value>yarn</value>

    </property>

     

     yarn-site.xml

    <!--配置Yarn的节点-->  

    <property>  

      <name>yarn.resourcemanager.hostname</name>

      <value>bigdata128</value>

    </property>  

    <!--NodeManager执行MR任务的方式是Shuffle洗牌-->  

    <property>  

      <name>yarn.nodemanager.aux-services</name>

      <value>mapreduce_shuffle</value>

    </property>  

    格式化：  hdfs namenode -format

    启动：    start-all.sh

     

    7、完全分布式配置

    共3个虚拟机，前述伪分布式的bigdata128作为master，克隆另外两个虚拟机slaves：bigdata129、bigdata131，克隆机自带安装JDK、Hadoop及配置文件。

    3个虚拟机都修改slaves，添加两个子节点：

    vi  /opt/module/hadoop-2.7.3/etc/hadoop  slaves

    bigdata128

    bigdata129

    bigdata131

    3个虚拟机都修改\etc\hosts，注释已有内容，添加集群3个虚拟机的ip及对应主机名：

    192.168.163.128  bigdata128

    192.168.163.129  bigdata129

    192.168.163.131  bigdata131

    3个虚拟机各自修改\etc\hostname，添加各自的主机名bigdata128或者bigdata129或者bigdata131。

    重启全部虚拟机，主机名生效。

    3个虚拟机都删除\opt\module\hadoop-2.7.3\d的tmp、logs目录：

    rm –rf \opt\module\hadoop-2.7.3\tmp    rm –rf \opt\module\hadoop-2.7.3\logs

    格式化master：  hdfs namenode -format

    启动master：    start-all.sh

     

    启动正常jps显示3台主机如上如下 

     

    最新回复(0)