windows安装hadoop3.1.2-单机版

    xiaoxiao2024-12-05  62

    一、基本信息

        hadoop版本:3.1.2     操作系统:win10     jdk版本:1.8  

    二、安装过程

    1、安装jdk1.8,并配置环境变量。 2、安装配置hadoop     解压hadoop安装文件到安装目录     配置HADOOP_HOME环境变量,并在path中加入%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin;     下载windows编译过的bin文件夹,可以到这个地址下载:         https://github.com/cdarlint/winutils          修改配置文件hadoop-env.cmd         设置JAVA_HOME(如果路径中包含Program Files使用PROGRA~1代替)         set JAVA_HOME=C:\PROGRA~1\java\jdk1.8

        (1)修改hdfs-site.xml     configuration节点下加入如下配置     <property>         <name>dfs.replication</name>         <value>1</value>     </property>     <property>          <name>dfs.permissions.enabled</name>          <value>false</value>      </property>     <property>         <name>dfs.namenode.name.dir</name>         <value>/D:/develop/hadoop/data/namenode</value>     </property>     <property>         <name>fs.checkpoint.dir</name>         <value>/D:/develop/hadoop/data/snn</value>     </property>     <property>         <name>fs.checkpoint.edits.dir</name>         <value>/D:/develop/hadoop/data/snn</value>     </property>         <property>         <name>dfs.datanode.data.dir</name>         <value>/D:/develop/hadoop/data/datanode</value>     </property>

        (2)修改core-site.xml     configuration节点下加入如下配置     <property>         <name>fs.defaultFS</name>         <value>hdfs://localhost:9000</value>     </property>     <property>         <name>hadoop.tmp.dir</name>         <value>/D:/develop/hadoop/data/tmp</value>     </property>     <property>         <name>fs.trash.interval</name>         <value>1440</value>     </property>          (3)修改yarn-site.xml     configuration节点下加入如下配置     <property>         <name>yarn.nodemanager.aux-services</name>         <value>mapreduce_shuffle</value>     </property>     <property>         <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>         <value>org.apache.hadoop.mapred.ShuffleHandler</value>     </property>          (4)修改mapred-site.xml     configuration节点下加入如下配置     <property>         <name>mapreduce.framework.name</name>         <value>yarn</value>     </property> 7、启动HDFS     格式化namenode(第一次启动前执行,只执行一次)     hdfs namenode -format     启动hdfs     start-dfs.cmd     启动yarn     start-yarn.cmd     查看是否启动成功         jps     浏览器访问     http://localhost:9870/     http://localhost:8088/cluster

    最新回复(0)