hadoop版本:3.1.2 操作系统:win10 jdk版本:1.8
1、安装jdk1.8,并配置环境变量。 2、安装配置hadoop 解压hadoop安装文件到安装目录 配置HADOOP_HOME环境变量,并在path中加入%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin; 下载windows编译过的bin文件夹,可以到这个地址下载: https://github.com/cdarlint/winutils 修改配置文件hadoop-env.cmd 设置JAVA_HOME(如果路径中包含Program Files使用PROGRA~1代替) set JAVA_HOME=C:\PROGRA~1\java\jdk1.8
(1)修改hdfs-site.xml configuration节点下加入如下配置 <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions.enabled</name> <value>false</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/D:/develop/hadoop/data/namenode</value> </property> <property> <name>fs.checkpoint.dir</name> <value>/D:/develop/hadoop/data/snn</value> </property> <property> <name>fs.checkpoint.edits.dir</name> <value>/D:/develop/hadoop/data/snn</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/D:/develop/hadoop/data/datanode</value> </property>
(2)修改core-site.xml configuration节点下加入如下配置 <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/D:/develop/hadoop/data/tmp</value> </property> <property> <name>fs.trash.interval</name> <value>1440</value> </property> (3)修改yarn-site.xml configuration节点下加入如下配置 <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> (4)修改mapred-site.xml configuration节点下加入如下配置 <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> 7、启动HDFS 格式化namenode(第一次启动前执行,只执行一次) hdfs namenode -format 启动hdfs start-dfs.cmd 启动yarn start-yarn.cmd 查看是否启动成功 jps 浏览器访问 http://localhost:9870/ http://localhost:8088/cluster