Hadoop伪分布式配置

Hadoop三种安装模式分别为单机模式，伪分布式，真正分布式，我选择的是伪分布式模式。 Hadoop伪分布式：一个节点

环境

1、阿里云服务器 2、xshell,xftp6 3、jdk-8u121-linux-x64 4、hadoop-2.7.3 （以下操作在xhell中完成）

主要步骤

一、关闭防火墙 1、systemctl stop firewalld 临时关闭防火墙，每次开机重新开启防火墙 2、firewall-cmd --state 显示防火墙状态running/not running

二、安装配置jdk/hadoop 1、将下载好的JDK、HADOOP通过xftp传入xshell

2、解压JDK、HADOOP tar -zxvf jdk-8u121-linux-x64.tar.gz -C /opt/module 解压安装 tar -zxvf hadoop-2.7.3.tar.gz -C /opt/module 解压安装

3、配置jdk vi /etc/profile文件添加： export JAVA_HOME=/opt/module/jdk1.8.0_121 export PATH=$JAV{A}_{H}OME/bin:$PATH source /etc/profile配置生效 javac检验是否成功

4、配置Hadoop vi /etc/profile文件添加： export HADOOP_HOME=/opt/module/hadoop-2.7.3 export PATH=$HADOO{P}_{H}OME/bin:$HADOOP_HOME/sbin:$PATH Esc :wq!保存并退出。 source /etc/profile配置生效 hadoop检验是否成功

5.本地模式配置hadoop -env.sh vi /opt/module/hadoop-2.7.3/etc/hadoop/hadoop-env.sh文件修改 显示行号 Esc :set number 取消行号Esc :set nonumber 修改第25行export JAVA_HOME=/opt/module/jdk1.8.0_121 Esc :wq!保存并退出 本地模式没有HDFS和Yarn，配置JDK后MapReduce能够运行java程序。

Hadoop伪分布式配置

有一台虚拟机，完成4个文件的配置 1、core-site.xml`

<!--配置HDFS主节点，namenode的地址，9000是RPC通信端口--> <property> <name>fs.defaultFS</name> <value>hdfs://bigdata128:9000</value> </property> <!--配置HDFS数据块和元数据保存的目录，一定要修改--> <property> <name>hadoop.tmp.dir</name> <value>/opt/module/hadoop-2.7.3/tmp</value> </property>

2、hdfs-site.xml

<!--注释配置数据块的冗余度，默认是3--> <property> <name>dfs.replication</name> <value>1</value> </property> <!--secondaryNameNode的主机地址--> <property> <name>dfs.namenode.secondary.http-address</name> <value>bigdata129:50090</value> </property>

3、mapred-site.xml(该配置文件不存在，先复制) cp mapred-site.xml.template mapred-site.xml

<!--配置MR程序运行的框架--> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>

4、yarn-site.xml

<!--配置Yarn的节点--> <property> <name>yarn.resourcemanager.hostname</name> <value>bigdata128</value> </property> <!--NodeManager执行MR任务的方式是Shuffle洗牌--> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>

格式化： hdfs namenode -format 启动： start-all.sh 启动成功后运行jps命令，出现六个节点则说明配置成功 主机ip:50070显示网页

hadoop 词频统计

一、先写words文件 1、touch words创建文档 2、vim words编辑文字 3、more words查看文档

二、再将words上传到hdfs中，可以直接运行 bin/hadoop fs -put /opt/module/words指定文件路径 /words目标路 完成操作后在网页上查看词频统计