hadoop安装详情

hadoop安装详情

基本配置的必要条件安装hadoop1.HADOOP安装部署(1)上传HADOOP安装包(2)解压安装包(3)进入hadoop文件夹里开始配置进入 hadoop-env.sh 修改java_home变量值 进入 core-site.xml 设置临时文件储存地址进入 hdfs-site.xml改写临时文件名进入 mapred-site.xml改写 slaves写入HADOOP的环境配置把配置好的文件传给从节点刷新配置文件启动集群通过网页查看是否成功

基本配置的必要条件

网卡配置好、主机名配置好、修改host映射(加好友)、关闭集群里机器的防火墙、配置好免密登陆ssh、安装jdk (这些在我之前的文章里有看着上面配置就行了)

安装hadoop

1.HADOOP安装部署

(1)上传HADOOP安装包

(2)解压安装包

tar -zxvf /hadoop-2.7.3.tar.gz -C /usr/local

(3)进入hadoop文件夹里开始配置

cd /usr/local/hadoop-2.7.3/etc/hadoop

进入 hadoop-env.sh 修改java_home变量值

vi hadoop-env.sh

改写为 :

# The java implementation to use. export JAVA_HOME=/usr/local/jdk1.8.0_102

JAVA_HOME=你jdk的路径

进入 core-site.xml 设置临时文件储存地址

vi core-site.xml

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop01:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop-2.7.3/tmp</value> </property> </configuration>

这里的hadoop01 是你主节点机器的名字

进入 hdfs-site.xml

vi hdfs-site.xml

<configuration> <property> <name>dfs.namenode.name.dir</name> <value>/usr/local/hadoop-2.7.3/data/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/usr/local/hadoop-2.7.3/data/data</value> </property> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.secondary.http.address</name> <value>hadoop01:50090</value> </property> </configuration>

这里 hadoop01:50090 用于网页访问hdfs

改写临时文件名

mv mapred-site.xml.tmp* mapred-site.xml

进入 mapred-site.xml

vi mapred-site.xml

<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> vi yarn-site.xml <configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop01</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>

改写 slaves

vi slaves

hadoop02 hadoop03

这里的hadoop02、hadoop03 是从节点名

写入HADOOP的环境配置

vi /etc/profile

把配置好的文件传给从节点

scp -r /usr/local/hadoop-2.7.3 hadoop02:/usr/local scp -r /usr/local/hadoop-2.7.3 hadoop03:/usr/local scp -r /etc/profile hadoop02:/etc/ scp -r /etc/profile hadoop03:/etc/

刷新配置文件

source /etc/profile

启动集群

初始化 HDFS(在主节点机器里进行操作)(操作一次就ok)

hadoop namenode -format

一键启动:

start-all.sh

通过网页查看是否成功

先去windows下去改变映射关系

C/windows/system32/drivers/etc/hosts

去访问hdfs