这里写自定义目录标题

欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants 创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入

以下操作在SecureCRT里面完成

1.关闭防火墙

firewall-cmd –state 显示防火墙状态running/not running

systemctl stop firewalld 临时关闭防火墙，每次开机重新开启防火墙

systemctl disable firewalld 禁止防火墙服务。

2.传输JDK和HADOOP压缩包

SecureCRT 【File】→【Connect SFTP Session】开启sftp操作

put jdk-8u121-linux-x64.tar.gz

put hadoop-2.7.3.tar.gz

传输文件从本地当前路径（Windows）到当前路径（Linux）

3.解压JDK、HADOOP

tar -zxvf jdk-8u121-linux-x64.tar.gz -C /opt/module 解压安装

tar -zxvf hadoop-2.7.3.tar.gz -C /opt/module 解压安装

4.配置JDK并生效

vi /etc/profile文件添加：

export JAVA_HOME=/opt/module/jdk1.8.0_121

export PATH=$JAV{A}_{H}OME/bin:$PATH

Esc :wq!保存并退出。不需要配置CLASSPATH。

source /etc/profile配置生效

javac检验是否成功

或者在/.bashrc文件里添加JAVA_HOME，可以对不同用户设置不同配置权限。

5.配置HADOOP并生效

vi /etc/profile文件添加：

export HADOOP_HOME=/opt/module/hadoop-2.7.3

export PATH=$HADOO{P}_{H}OME/bin:$HADOOP_HOME/sbin:$PATH

Esc :wq!保存并退出。

source /etc/profile配置生效

hadoop检验是否成功

5.本地模式配置hadoop -env.sh

vi /opt/module/hadoop-2.7.3/etc/hadoop/hadoop-env.sh文件修改

显示行号 Esc :set number 取消行号Esc :set nonumber

修改第25行export JAVA_HOME=/opt/module/jdk1.8.0_121

Esc :wq!保存并退出

本地模式没有HDFS和Yarn，配置JDK后MapReduce能够运行java程序。

6.运行自带程序wordcount

cd /opt/module/hadoop-2.7.3/share/hadoop/mapreduce 转入wordcount所在路径

touch in.txt 创建In.txt文件

vi in.txt 输入要统计词频的文字

hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount in.txt output/

运行wordcount，output目录必须不存在，程序运行之后自动创建。

Hadoop伪分布式模式配置

只有一台虚拟机bigdata128，4个配置文件：

1.core-site.xml

fs.defaultFS

hdfs://bigdata128:9000

hadoop.tmp.dir

/opt/module/hadoop-2.7.3/tmp

2.hdfs-site.xml

<name>dfs.replication</name> <value>1</value>

dfs.namenode.secondary.http-address

bigdata129:50090

mapred-site.xml(该配置文件不存在，先复制)

cp mapred-site.xml.template mapred-site.xml

<name>mapreduce.framework.name</name> <value>yarn</value> yarn-site.xml <name>yarn.resourcemanager.hostname</name> <value>bigdata128</value> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value>

格式化： hdfs namenode -format

启动： start-all.sh

Hadoop完全分布式模式配置

共3个虚拟机，前述伪分布式的bigdata128作为master，克隆另外两个虚拟机slaves：bigdata129、bigdata131，克隆机自带安装JDK、Hadoop及配置文件。

3个虚拟机都修改slaves，添加两个子节点：

vi /opt/module/hadoop-2.7.3/etc/hadoop slaves

bigdata128

bigdata129

bigdata131

3个虚拟机都修改\etc\hosts，注释已有内容，添加集群3个虚拟机的ip及对应主机名：

192.168.163.128 bigdata128

192.168.163.129 bigdata129

192.168.163.131 bigdata131

3个虚拟机各自修改\etc\hostname，添加各自的主机名bigdata128或者bigdata129或者bigdata131。

重启全部虚拟机，主机名生效。

3个虚拟机都删除\opt\module\hadoop-2.7.3\d的tmp、logs目录：

rm –rf \opt\module\hadoop-2.7.3\tmp rm –rf \opt\module\hadoop-2.7.3\logs

格式化master： hdfs namenode -format

启动master： start-all.sh

以下操作在SecureCRT里面完成

1.关闭防火墙

firewall-cmd –state 显示防火墙状态running/not running

systemctl stop firewalld 临时关闭防火墙，每次开机重新开启防火墙

systemctl disable firewalld 禁止防火墙服务。

2.传输JDK和HADOOP压缩包

SecureCRT 【File】→【Connect SFTP Session】开启sftp操作

put jdk-8u121-linux-x64.tar.gz

put hadoop-2.7.3.tar.gz

传输文件从本地当前路径（Windows）到当前路径（Linux）

3.解压JDK、HADOOP

tar -zxvf jdk-8u121-linux-x64.tar.gz -C /opt/module 解压安装

tar -zxvf hadoop-2.7.3.tar.gz -C /opt/module 解压安装

4.配置JDK并生效

vi /etc/profile文件添加：

export JAVA_HOME=/opt/module/jdk1.8.0_121

export PATH=$JAV{A}_{H}OME/bin:$PATH

Esc :wq!保存并退出。不需要配置CLASSPATH。

source /etc/profile配置生效

javac检验是否成功

或者在/.bashrc文件里添加JAVA_HOME，可以对不同用户设置不同配置权限。

5.配置HADOOP并生效

vi /etc/profile文件添加：

export HADOOP_HOME=/opt/module/hadoop-2.7.3

export PATH=$HADOO{P}_{H}OME/bin:$HADOOP_HOME/sbin:$PATH

Esc :wq!保存并退出。

source /etc/profile配置生效

hadoop检验是否成功

5.本地模式配置hadoop -env.sh

vi /opt/module/hadoop-2.7.3/etc/hadoop/hadoop-env.sh文件修改

显示行号 Esc :set number 取消行号Esc :set nonumber

修改第25行export JAVA_HOME=/opt/module/jdk1.8.0_121

Esc :wq!保存并退出

本地模式没有HDFS和Yarn，配置JDK后MapReduce能够运行java程序。

6.运行自带程序wordcount

cd /opt/module/hadoop-2.7.3/share/hadoop/mapreduce 转入wordcount所在路径

touch in.txt 创建In.txt文件

vi in.txt 输入要统计词频的文字

hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount in.txt output/

运行wordcount，output目录必须不存在，程序运行之后自动创建。

Hadoop伪分布式模式配置

只有一台虚拟机bigdata128，4个配置文件：

1.core-site.xml

fs.defaultFS

hdfs://bigdata128:9000

hadoop.tmp.dir

/opt/module/hadoop-2.7.3/tmp

2.hdfs-site.xml

<name>dfs.replication</name> <value>1</value>

dfs.namenode.secondary.http-address

bigdata129:50090

mapred-site.xml(该配置文件不存在，先复制)

cp mapred-site.xml.template mapred-site.xml

<name>mapreduce.framework.name</name> <value>yarn</value> yarn-site.xml <name>yarn.resourcemanager.hostname</name> <value>bigdata128</value> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value>

格式化： hdfs namenode -format

启动： start-all.sh

Hadoop完全分布式模式配置

共3个虚拟机，前述伪分布式的bigdata128作为master，克隆另外两个虚拟机slaves：bigdata129、bigdata131，克隆机自带安装JDK、Hadoop及配置文件。

3个虚拟机都修改slaves，添加两个子节点：

vi /opt/module/hadoop-2.7.3/etc/hadoop slaves

bigdata128

bigdata129

bigdata131

3个虚拟机都修改\etc\hosts，注释已有内容，添加集群3个虚拟机的ip及对应主机名：

192.168.163.128 bigdata128

192.168.163.129 bigdata129

192.168.163.131 bigdata131

3个虚拟机各自修改\etc\hostname，添加各自的主机名bigdata128或者bigdata129或者bigdata131。

重启全部虚拟机，主机名生效。

3个虚拟机都删除\opt\module\hadoop-2.7.3\d的tmp、logs目录：

rm –rf \opt\module\hadoop-2.7.3\tmp rm –rf \opt\module\hadoop-2.7.3\logs

格式化master： hdfs namenode -format

启动master： start-all.sh

启动正常jps显示3台主机如上如下

启动正常创建目录如下

以下操作在SecureCRT里面完成

1.关闭防火墙

firewall-cmd –state 显示防火墙状态running/not running

systemctl stop firewalld 临时关闭防火墙，每次开机重新开启防火墙

systemctl disable firewalld 禁止防火墙服务。

2.传输JDK和HADOOP压缩包

SecureCRT 【File】→【Connect SFTP Session】开启sftp操作

put jdk-8u121-linux-x64.tar.gz

put hadoop-2.7.3.tar.gz

传输文件从本地当前路径（Windows）到当前路径（Linux）

3.解压JDK、HADOOP

tar -zxvf jdk-8u121-linux-x64.tar.gz -C /opt/module 解压安装

tar -zxvf hadoop-2.7.3.tar.gz -C /opt/module 解压安装

4.配置JDK并生效

vi /etc/profile文件添加：

export JAVA_HOME=/opt/module/jdk1.8.0_121

export PATH=$JAV{A}_{H}OME/bin:$PATH

Esc :wq!保存并退出。不需要配置CLASSPATH。

source /etc/profile配置生效

javac检验是否成功

或者在/.bashrc文件里添加JAVA_HOME，可以对不同用户设置不同配置权限。

5.配置HADOOP并生效

vi /etc/profile文件添加：

export HADOOP_HOME=/opt/module/hadoop-2.7.3

export PATH=$HADOO{P}_{H}OME/bin:$HADOOP_HOME/sbin:$PATH

Esc :wq!保存并退出。

source /etc/profile配置生效

hadoop检验是否成功

5.本地模式配置hadoop -env.sh

vi /opt/module/hadoop-2.7.3/etc/hadoop/hadoop-env.sh文件修改

显示行号 Esc :set number 取消行号Esc :set nonumber

修改第25行export JAVA_HOME=/opt/module/jdk1.8.0_121

Esc :wq!保存并退出

本地模式没有HDFS和Yarn，配置JDK后MapReduce能够运行java程序。

6.运行自带程序wordcount

cd /opt/module/hadoop-2.7.3/share/hadoop/mapreduce 转入wordcount所在路径

touch in.txt 创建In.txt文件

vi in.txt 输入要统计词频的文字

hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount in.txt output/

运行wordcount，output目录必须不存在，程序运行之后自动创建。

Hadoop伪分布式模式配置

只有一台虚拟机bigdata128，4个配置文件：

1.core-site.xml

fs.defaultFS

hdfs://bigdata128:9000

hadoop.tmp.dir

/opt/module/hadoop-2.7.3/tmp

2.hdfs-site.xml

<name>dfs.replication</name> <value>1</value>

dfs.namenode.secondary.http-address

bigdata129:50090

mapred-site.xml(该配置文件不存在，先复制)

cp mapred-site.xml.template mapred-site.xml

<name>mapreduce.framework.name</name> <value>yarn</value> yarn-site.xml <name>yarn.resourcemanager.hostname</name> <value>bigdata128</value> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value>

格式化： hdfs namenode -format

启动： start-all.sh

Hadoop完全分布式模式配置

共3个虚拟机，前述伪分布式的bigdata128作为master，克隆另外两个虚拟机slaves：bigdata129、bigdata131，克隆机自带安装JDK、Hadoop及配置文件。

3个虚拟机都修改slaves，添加两个子节点：

vi /opt/module/hadoop-2.7.3/etc/hadoop slaves

bigdata128

bigdata129

bigdata131

3个虚拟机都修改\etc\hosts，注释已有内容，添加集群3个虚拟机的ip及对应主机名：

192.168.163.128 bigdata128

192.168.163.129 bigdata129

192.168.163.131 bigdata131

3个虚拟机各自修改\etc\hostname，添加各自的主机名bigdata128或者bigdata129或者bigdata131。

重启全部虚拟机，主机名生效。

3个虚拟机都删除\opt\module\hadoop-2.7.3\d的tmp、logs目录：

rm –rf \opt\module\hadoop-2.7.3\tmp rm –rf \opt\module\hadoop-2.7.3\logs

格式化master： hdfs namenode -format

启动master： start-all.sh

启动正常jps显示3台主机如上如下

启动正常创建目录如下

以下操作在SecureCRT里面完成

1.关闭防火墙

firewall-cmd –state 显示防火墙状态running/not running

systemctl stop firewalld 临时关闭防火墙，每次开机重新开启防火墙

systemctl disable firewalld 禁止防火墙服务。

2.传输JDK和HADOOP压缩包

SecureCRT 【File】→【Connect SFTP Session】开启sftp操作

put jdk-8u121-linux-x64.tar.gz

put hadoop-2.7.3.tar.gz

传输文件从本地当前路径（Windows）到当前路径（Linux）

3.解压JDK、HADOOP

tar -zxvf jdk-8u121-linux-x64.tar.gz -C /opt/module 解压安装

tar -zxvf hadoop-2.7.3.tar.gz -C /opt/module 解压安装

4.配置JDK并生效

vi /etc/profile文件添加：

export JAVA_HOME=/opt/module/jdk1.8.0_121

export PATH=$JAV{A}_{H}OME/bin:$PATH

Esc :wq!保存并退出。不需要配置CLASSPATH。

source /etc/profile配置生效

javac检验是否成功

或者在/.bashrc文件里添加JAVA_HOME，可以对不同用户设置不同配置权限。

5.配置HADOOP并生效

vi /etc/profile文件添加：

export HADOOP_HOME=/opt/module/hadoop-2.7.3

export PATH=$HADOO{P}_{H}OME/bin:$HADOOP_HOME/sbin:$PATH

Esc :wq!保存并退出。

source /etc/profile配置生效

hadoop检验是否成功

5.本地模式配置hadoop -env.sh

vi /opt/module/hadoop-2.7.3/etc/hadoop/hadoop-env.sh文件修改

显示行号 Esc :set number 取消行号Esc :set nonumber

修改第25行export JAVA_HOME=/opt/module/jdk1.8.0_121

Esc :wq!保存并退出

本地模式没有HDFS和Yarn，配置JDK后MapReduce能够运行java程序。

6.运行自带程序wordcount

cd /opt/module/hadoop-2.7.3/share/hadoop/mapreduce 转入wordcount所在路径

touch in.txt 创建In.txt文件

vi in.txt 输入要统计词频的文字

hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount in.txt output/

运行wordcount，output目录必须不存在，程序运行之后自动创建。

Hadoop伪分布式模式配置

只有一台虚拟机bigdata128，4个配置文件：

1.core-site.xml

fs.defaultFS

hdfs://bigdata128:9000

hadoop.tmp.dir

/opt/module/hadoop-2.7.3/tmp

2.hdfs-site.xml

<name>dfs.replication</name> <value>1</value>

dfs.namenode.secondary.http-address

bigdata129:50090

mapred-site.xml(该配置文件不存在，先复制)

cp mapred-site.xml.template mapred-site.xml

<name>mapreduce.framework.name</name> <value>yarn</value> yarn-site.xml <name>yarn.resourcemanager.hostname</name> <value>bigdata128</value> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value>

格式化： hdfs namenode -format

启动： start-all.sh

Hadoop完全分布式模式配置

共3个虚拟机，前述伪分布式的bigdata128作为master，克隆另外两个虚拟机slaves：bigdata129、bigdata131，克隆机自带安装JDK、Hadoop及配置文件。

3个虚拟机都修改slaves，添加两个子节点：

vi /opt/module/hadoop-2.7.3/etc/hadoop slaves

bigdata128

bigdata129

bigdata131

3个虚拟机都修改\etc\hosts，注释已有内容，添加集群3个虚拟机的ip及对应主机名：

192.168.163.128 bigdata128

192.168.163.129 bigdata129

192.168.163.131 bigdata131

3个虚拟机各自修改\etc\hostname，添加各自的主机名bigdata128或者bigdata129或者bigdata131。

重启全部虚拟机，主机名生效。

3个虚拟机都删除\opt\module\hadoop-2.7.3\d的tmp、logs目录：

rm –rf \opt\module\hadoop-2.7.3\tmp rm –rf \opt\module\hadoop-2.7.3\logs

格式化master： hdfs namenode -format

启动master： start-all.sh

启动正常jps显示3台主机如上如下

启动正常创建目录如下

以下操作在SecureCRT里面完成

1.关闭防火墙

firewall-cmd –state 显示防火墙状态running/not running

systemctl stop firewalld 临时关闭防火墙，每次开机重新开启防火墙

systemctl disable firewalld 禁止防火墙服务。

2.传输JDK和HADOOP压缩包

SecureCRT 【File】→【Connect SFTP Session】开启sftp操作

put jdk-8u121-linux-x64.tar.gz

put hadoop-2.7.3.tar.gz

传输文件从本地当前路径（Windows）到当前路径（Linux）

3.解压JDK、HADOOP

tar -zxvf jdk-8u121-linux-x64.tar.gz -C /opt/module 解压安装

tar -zxvf hadoop-2.7.3.tar.gz -C /opt/module 解压安装

4.配置JDK并生效

vi /etc/profile文件添加：

export JAVA_HOME=/opt/module/jdk1.8.0_121

export PATH=$JAV{A}_{H}OME/bin:$PATH

Esc :wq!保存并退出。不需要配置CLASSPATH。

source /etc/profile配置生效

javac检验是否成功

或者在/.bashrc文件里添加JAVA_HOME，可以对不同用户设置不同配置权限。

5.配置HADOOP并生效

vi /etc/profile文件添加：

export HADOOP_HOME=/opt/module/hadoop-2.7.3

export PATH=$HADOO{P}_{H}OME/bin:$HADOOP_HOME/sbin:$PATH

Esc :wq!保存并退出。

source /etc/profile配置生效

hadoop检验是否成功

5.本地模式配置hadoop -env.sh

vi /opt/module/hadoop-2.7.3/etc/hadoop/hadoop-env.sh文件修改

显示行号 Esc :set number 取消行号Esc :set nonumber

修改第25行export JAVA_HOME=/opt/module/jdk1.8.0_121

Esc :wq!保存并退出

本地模式没有HDFS和Yarn，配置JDK后MapReduce能够运行java程序。

6.运行自带程序wordcount

cd /opt/module/hadoop-2.7.3/share/hadoop/mapreduce 转入wordcount所在路径

touch in.txt 创建In.txt文件

vi in.txt 输入要统计词频的文字

hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount in.txt output/

运行wordcount，output目录必须不存在，程序运行之后自动创建。

Hadoop伪分布式模式配置

只有一台虚拟机bigdata128，4个配置文件：

1.core-site.xml

fs.defaultFS

hdfs://bigdata128:9000

hadoop.tmp.dir

/opt/module/hadoop-2.7.3/tmp

2.hdfs-site.xml

<name>dfs.replication</name> <value>1</value>

dfs.namenode.secondary.http-address

bigdata129:50090

mapred-site.xml(该配置文件不存在，先复制)

cp mapred-site.xml.template mapred-site.xml

<name>mapreduce.framework.name</name> <value>yarn</value> yarn-site.xml <name>yarn.resourcemanager.hostname</name> <value>bigdata128</value> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value>

格式化： hdfs namenode -format

启动： start-all.sh

Hadoop完全分布式模式配置

共3个虚拟机，前述伪分布式的bigdata128作为master，克隆另外两个虚拟机slaves：bigdata129、bigdata131，克隆机自带安装JDK、Hadoop及配置文件。

3个虚拟机都修改slaves，添加两个子节点：

vi /opt/module/hadoop-2.7.3/etc/hadoop slaves

bigdata128

bigdata129

bigdata131

3个虚拟机都修改\etc\hosts，注释已有内容，添加集群3个虚拟机的ip及对应主机名：

192.168.163.128 bigdata128

192.168.163.129 bigdata129

192.168.163.131 bigdata131

3个虚拟机各自修改\etc\hostname，添加各自的主机名bigdata128或者bigdata129或者bigdata131。

重启全部虚拟机，主机名生效。

3个虚拟机都删除\opt\module\hadoop-2.7.3\d的tmp、logs目录：

rm –rf \opt\module\hadoop-2.7.3\tmp rm –rf \opt\module\hadoop-2.7.3\logs

格式化master： hdfs namenode -format

启动master： start-all.sh

以下操作在SecureCRT里面完成

1.关闭防火墙

firewall-cmd –state 显示防火墙状态running/not running

systemctl stop firewalld 临时关闭防火墙，每次开机重新开启防火墙

systemctl disable firewalld 禁止防火墙服务。

2.传输JDK和HADOOP压缩包

SecureCRT 【File】→【Connect SFTP Session】开启sftp操作

put jdk-8u121-linux-x64.tar.gz

put hadoop-2.7.3.tar.gz

传输文件从本地当前路径（Windows）到当前路径（Linux）

3.解压JDK、HADOOP

tar -zxvf jdk-8u121-linux-x64.tar.gz -C /opt/module 解压安装

tar -zxvf hadoop-2.7.3.tar.gz -C /opt/module 解压安装

4.配置JDK并生效

vi /etc/profile文件添加：

export JAVA_HOME=/opt/module/jdk1.8.0_121

export PATH=$JAV{A}_{H}OME/bin:$PATH

Esc :wq!保存并退出。不需要配置CLASSPATH。

source /etc/profile配置生效

javac检验是否成功

或者在/.bashrc文件里添加JAVA_HOME，可以对不同用户设置不同配置权限。

5.配置HADOOP并生效

vi /etc/profile文件添加：

export HADOOP_HOME=/opt/module/hadoop-2.7.3

export PATH=$HADOO{P}_{H}OME/bin:$HADOOP_HOME/sbin:$PATH

Esc :wq!保存并退出。

source /etc/profile配置生效

hadoop检验是否成功

5.本地模式配置hadoop -env.sh

vi /opt/module/hadoop-2.7.3/etc/hadoop/hadoop-env.sh文件修改

显示行号 Esc :set number 取消行号Esc :set nonumber

修改第25行export JAVA_HOME=/opt/module/jdk1.8.0_121

Esc :wq!保存并退出

本地模式没有HDFS和Yarn，配置JDK后MapReduce能够运行java程序。

6.运行自带程序wordcount

cd /opt/module/hadoop-2.7.3/share/hadoop/mapreduce 转入wordcount所在路径

touch in.txt 创建In.txt文件

vi in.txt 输入要统计词频的文字

hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount in.txt output/

运行wordcount，output目录必须不存在，程序运行之后自动创建。

Hadoop伪分布式模式配置

只有一台虚拟机bigdata128，4个配置文件：

1.core-site.xml

fs.defaultFS

hdfs://bigdata128:9000

hadoop.tmp.dir

/opt/module/hadoop-2.7.3/tmp

2.hdfs-site.xml

<name>dfs.replication</name> <value>1</value>

dfs.namenode.secondary.http-address

bigdata129:50090

mapred-site.xml(该配置文件不存在，先复制)

cp mapred-site.xml.template mapred-site.xml

<name>mapreduce.framework.name</name> <value>yarn</value> yarn-site.xml <name>yarn.resourcemanager.hostname</name> <value>bigdata128</value> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value>

格式化： hdfs namenode -format

启动： start-all.sh

Hadoop完全分布式模式配置

共3个虚拟机，前述伪分布式的bigdata128作为master，克隆另外两个虚拟机slaves：bigdata129、bigdata131，克隆机自带安装JDK、Hadoop及配置文件。

3个虚拟机都修改slaves，添加两个子节点：

vi /opt/module/hadoop-2.7.3/etc/hadoop slaves

bigdata128

bigdata129

bigdata131

3个虚拟机都修改\etc\hosts，注释已有内容，添加集群3个虚拟机的ip及对应主机名：

192.168.163.128 bigdata128

192.168.163.129 bigdata129

192.168.163.131 bigdata131

3个虚拟机各自修改\etc\hostname，添加各自的主机名bigdata128或者bigdata129或者bigdata131。

重启全部虚拟机，主机名生效。

3个虚拟机都删除\opt\module\hadoop-2.7.3\d的tmp、logs目录：

rm –rf \opt\module\hadoop-2.7.3\tmp rm –rf \opt\module\hadoop-2.7.3\logs

格式化master： hdfs namenode -format

启动master： start-all.sh

以下操作在SecureCRT里面完成

1.关闭防火墙

firewall-cmd –state 显示防火墙状态running/not running

systemctl stop firewalld 临时关闭防火墙，每次开机重新开启防火墙

systemctl disable firewalld 禁止防火墙服务。

2.传输JDK和HADOOP压缩包

SecureCRT 【File】→【Connect SFTP Session】开启sftp操作

put  jdk-8u121-linux-x64.tar.gz

put  hadoop-2.7.3.tar.gz

传输文件从本地当前路径（Windows）到当前路径（Linux）

3.解压JDK、HADOOP

tar  -zxvf  jdk-8u121-linux-x64.tar.gz  -C  /opt/module  解压安装

tar  -zxvf  hadoop-2.7.3.tar.gz  -C  /opt/module  解压安装

4.配置JDK并生效

vi /etc/profile文件添加：

export JAVA_HOME=/opt/module/jdk1.8.0_121

export PATH=$JAV{A}_{H}OME/bin:$PATH

Esc :wq!保存并退出。不需要配置CLASSPATH。

source /etc/profile配置生效

javac检验是否成功

或者在/.bashrc文件里添加JAVA_HOME，可以对不同用户设置不同配置权限。

5.配置HADOOP并生效

vi /etc/profile文件添加：

export HADOOP_HOME=/opt/module/hadoop-2.7.3

export PATH=$HADOO{P}_{H}OME/bin:$HADOOP_HOME/sbin:$PATH

Esc :wq!保存并退出。

source /etc/profile配置生效

hadoop检验是否成功

5.本地模式配置hadoop -env.sh

vi /opt/module/hadoop-2.7.3/etc/hadoop/hadoop-env.sh文件修改

显示行号 Esc :set number    取消行号Esc :set nonumber

修改第25行export JAVA_HOME=/opt/module/jdk1.8.0_121

Esc :wq!保存并退出

本地模式没有HDFS和Yarn，配置JDK后MapReduce能够运行java程序。

6.运行自带程序wordcount

cd /opt/module/hadoop-2.7.3/share/hadoop/mapreduce 转入wordcount所在路径

touch in.txt 创建In.txt文件

vi in.txt 输入要统计词频的文字

hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount in.txt output/

运行wordcount，output目录必须不存在，程序运行之后自动创建。

Hadoop伪分布式模式配置

只有一台虚拟机bigdata128，4个配置文件：

1.core-site.xml

fs.defaultFS

hdfs://bigdata128:9000

hadoop.tmp.dir

/opt/module/hadoop-2.7.3/tmp

2.hdfs-site.xml

                                          

dfs.replication

1

              

dfs.namenode.secondary.http-address

bigdata129:50090

mapred-site.xml(该配置文件不存在，先复制)

cp  mapred-site.xml.template  mapred-site.xml

                                               

mapreduce.framework.name

yarn

    

yarn-site.xml                                              

yarn.resourcemanager.hostname

bigdata128

                                

yarn.nodemanager.aux-services

mapreduce_shuffle

    

格式化：  hdfs namenode -format

启动：    start-all.sh

Hadoop完全分布式模式配置

共3个虚拟机，前述伪分布式的bigdata128作为master，克隆另外两个虚拟机slaves：bigdata129、bigdata131，克隆机自带安装JDK、Hadoop及配置文件。

3个虚拟机都修改slaves，添加两个子节点：

vi  /opt/module/hadoop-2.7.3/etc/hadoop  slaves

bigdata128

bigdata129

bigdata131

3个虚拟机都修改\etc\hosts，注释已有内容，添加集群3个虚拟机的ip及对应主机名：

192.168.163.128  bigdata128

192.168.163.129  bigdata129

192.168.163.131  bigdata131

3个虚拟机各自修改\etc\hostname，添加各自的主机名bigdata128或者bigdata129或者bigdata131。

重启全部虚拟机，主机名生效。

3个虚拟机都删除\opt\module\hadoop-2.7.3\d的tmp、logs目录：

rm –rf \opt\module\hadoop-2.7.3\tmp    rm –rf \opt\module\hadoop-2.7.3\logs

格式化master：  hdfs namenode -format

启动master：    start-all.sh

启动正常jps显示3台主机如上如下

启动正常创建目录如下

启动正常jps显示3台主机如上如下

启动正常创建目录如下

启动正常jps显示3台主机如上如下

启动正常创建目录如下

启动正常jps显示3台主机如上如下

启动正常创建目录如下

欢迎使用Markdown编辑器

你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。

新的改变

我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：

全新的界面设计 ，将会带来全新的写作体验；在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；全新的 KaTeX数学公式 语法；增加了支持甘特图的mermaid语法¹ 功能；增加了 多屏幕编辑 Markdown文章功能；增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能，功能按钮位于编辑区域与预览区域中间；增加了 检查列表 功能。

功能快捷键

撤销：Ctrl/Command + Z 重做：Ctrl/Command + Y 加粗：Ctrl/Command + B 斜体：Ctrl/Command + I 标题：Ctrl/Command + Shift + H 无序列表：Ctrl/Command + Shift + U 有序列表：Ctrl/Command + Shift + O 检查列表：Ctrl/Command + Shift + C 插入代码：Ctrl/Command + Shift + K 插入链接：Ctrl/Command + Shift + L 插入图片：Ctrl/Command + Shift + G

合理的创建标题，有助于目录的生成

直接输入1次#，并按下space后，将生成1级标题。 输入2次#，并按下space后，将生成2级标题。 以此类推，我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。

如何改变文本的样式

强调文本 强调文本

加粗文本 加粗文本

标记文本

删除文本

引用文本

H₂O is是液体。

2¹⁰ 运算结果是 1024.

插入链接与图片

链接: link.

图片:

带尺寸的图片:

居中的图片:

居中并且带尺寸的图片:

当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.

// An highlighted block var foo = 'bar';

生成一个适合你的列表

项目 项目 项目 项目1项目2项目3 计划任务 完成任务

创建一个表格

一个简单的表格是这么创建的：

项目Value电脑$1600手机$12导管$1

设定内容居中、居左、居右

使用:---------:居中 使用:----------居左 使用----------:居右

第一列第二列第三列第一列文本居中第二列文本居右第三列文本居左

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

TYPEASCIIHTMLSingle backticks'Isn't this fun?'‘Isn’t this fun?’Quotes"Isn't this fun?"“Isn’t this fun?”Dashes-- is en-dash, --- is em-dash– is en-dash, — is em-dash

创建一个自定义列表

Markdown Text-to- HTML conversion tool Authors John Luke

如何创建一个注脚

一个具有注脚的文本。²

注释也是必不可少的

Markdown将文本转换为 HTML。

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 $\Gamma (n)=(n-1)!\forall n\in \mathbb{N}$ 是通过欧拉积分

$$\Gamma (z)={\int }_0^{\infty }{t}^{z-1}{e}^{-t}dt.$$

你可以找到更多关于的信息 LaTeX 数学表达式here.

新的甘特图功能，丰富你的文章

Mon 06 Mon 13 Mon 20 已完成 进行中 计划一 计划二 现有任务 Adding GANTT diagram functionality to mermaid 关于 甘特图 语法，参考 这儿,

UML 图表

可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图：:

张三 李四 王五 你好！李四, 最近怎么样? 你最近怎么样，王五？ 我很好，谢谢! 我很好，谢谢! 李四想了很长时间, 文字太长了 不适合放在一行. 打量着王五... 很好... 王五, 你怎么样? 张三 李四 王五

这将产生一个流程图。:

链接 长方形 圆 圆角长方形 菱形 关于 Mermaid 语法，参考 这儿,

FLowchart流程图

我们依旧会支持flowchart的流程图：

Created with Raphaël 2.2.0 开始 我的操作 确认？ 结束 yes no 关于 Flowchart流程图 语法，参考 这儿.

导出与导入

导出

如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ，生成一个.md文件或者.html文件进行本地保存。

导入

如果你想加载一篇你写过的.md文件或者.html文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入， 继续你的创作。

---

mermaid语法说明 ↩︎

注脚的解释 ↩︎