hadoop版本：3.1.2 操作系统：ubuntu16.04（需要安装ssh） jdk版本：1.8
1、查看或修改主机名（例如主机名为hadoop-master） sudo cat /etc/hostname sudo vim /etc/hostname 2、修改网络映射（ifconfig查看ip地址） sudo vim /etc/hosts 192.168.1.121 hadoop-master 要删除127.0.0.1的映射关系 127.0.0.1 hadoop-master 3、设置系统操作账户（如果已有用户，可不添加） sudo addgroup hadoop sudo adduser -ingroup hadoop hadoop 配置Hadoop用户为管理员权限 sudo vim /etc/sudoers hadoop ALL=(ALL:ALL) ALL 切换用户 su hadoop 设置ssh免密登陆 ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys ssh localhost exit 4、安装JDK，并配置环境变量 解压并移动到安装目录 tar -zxvf jdk-8u151-linux-x64.tar.gz sudo mv jdk-8u151-linux-x64 /usr/local/jdk1.8 配置环境变量 sudo vim /etc/profile export JAVA_HOME=/usr/local/jdk1.8 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=.:$PATH:${JAVA_HOME}/bin 文件修改生效 source /etc/profile 测试安装 java -version 5、安装hadoop3.1.2 解压并移动到安装目录 tar -zxvf hadoop-3.1.2.tar.gz sudo mv hadoop-3.0.2 /usr/local/hadoop/hadoop-3.1.2 给操作用户授予安装目录权限 sudo chown -R hadoop:hadoop /usr/local/hadoop
配置环境变量 sudo vim /etc/profile export HADOOP_HOME=/usr/local/hadoop/hadoop-3.1.2 export PATH=$HADOOP_HOME/bin:$PATH export PATH=$PATH:$HADOOP_HOME/sbin 文件修改生效 source /etc/profile 测试安装 hadoop version 6、配置hadoop 配置hadoop环境信息（这里只需要设置JAVA_HOME） sudo vim /usr/local/hadoop/hadoop-3.1.2/etc/hadoop/hadoop-env.sh export JAVA_HOME=/usr/local/jdk1.8 创建namenode和datanode目录 /usr/local/hadoop/data/namenode /usr/local/hadoop/data/datanode 修改配置文件(配置文件的hadoop-master是主机名，路径是上面创建的namenode和datanode目录) cd /usr/local/hadoop/hadoop-3.1.2/etc/hadoop (1)修改hdfs-site.xml vim hdfs-site.xml configuration节点下加入如下配置 <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/data/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/data/datanode</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> <property> <name>dfs.permissions.enabled</name> <value>true</value> </property> (2)修改core-site.xml vim core-site.xml configuration节点下加入如下配置 <property> <name>fs.defaultFS</name> <value>hdfs://hadoop-master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/data</value> </property> <property> <name>fs.trash.interval</name> <value>1440</value> </property> (3)修改yarn-site.xml vim yarn-site.xml configuration节点下加入如下配置 <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop-master</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> (4)修改mapred-site.xml vim mapred-site.xml configuration节点下加入如下配置 <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>yarn.app.mapreduce.am.env</name> <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value> </property> <property> <name>mapreduce.map.env</name> <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value> </property> <property> <name>mapreduce.reduce.env</name> <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value> </property> 7、启动HDFS 格式化namenode（第一次启动前执行，只执行一次） hdfs namenode -format 启动hdfs start-dfs.sh 启动yarn start-yarn.sh 查看是否启动成功 jps 浏览器访问 http://192.168.1.121:9870/ http://192.168.1.121:8088/cluster
