Hadoop完全分布式模式配置并运行wordcount

    xiaoxiao2022-07-02  95

    Hadoop完全分布式模式配置并运行wordcount

    一、新建另外两台Linux虚拟机 完全分布式模式共三台虚拟机,前述伪分布式的虚拟机(bigdata128)作为master主节点,克隆另外两个虚拟机(bigdata129、bigdata131)作为slaves子节点,克隆机自带安装JDK、Hadoop及配置文件。 注:此配置是为学习所用,且电脑资源有限,因此照搬伪分布式配置,将NameNode、SecondaryNameNode、ResourceManager全部配置在主节点bigdata128上面,实际情况则相反,应该分别配置在不同的节点上面。

    此处附上如何克隆虚拟机的连接: https://blog.csdn.net/Wxp_csdn/article/details/90440328 此处附上Hadoop伪分布式模式配置并运行wordcount的连接: https://blog.csdn.net/Wxp_csdn/article/details/90439910

    二、修改以下配置文件 ①slaves配置文件 三台虚拟机分别都运行命令 vi /opt/module/hadoop-2.7.3/etc/hadoop slaves 修改slaves为: bigdata129 bigdata131 ②修改\etc\hosts配置文件 三台虚拟机分别都运行命令 vi \etc hosts 注释已有内容,添加集群三台虚拟机的ip及对应主机名: 192.168.163.128 bigdata128 192.168.163.129 bigdata129 192.168.163.131 bigdata131 ③修改\etc\hostname配置文件 三台虚拟机分别都运行命令 vi \etc hostname 添加各自的主机名bigdata128或者bigdata129或者bigdata131。 重启全部虚拟机,主机名生效。

    三、格式化 在主节点bigdata128上面输入格式化命令(hdfs namenode -format),格式化集群。 注:如果不是第一次格式化,三台虚拟机都删除\opt\module\hadoop-2.7.3\下面的tmp、logs目录:rm –rf \opt\module\hadoop-2.7.3\tmp rm –rf \opt\module\hadoop-2.7.3\logs 注:如果格式化之前启动过集群,先在主节点bigdata128上面停止集群(stop-all.sh),再格式化。

    四、启动集群 在主节点bigdata128上面输入启动命令(start-all.sh),启动集群。 注:如果启动之前启动过集群,先在主节点bigdata128上面停止集群(stop-all.sh),再启动。 启动正常,输入jps命令,显示如下: 启动正常jps显示3台主机如上如下 启动正常目录显示如下: web控制台访问:http://192.168.163.132:50070 、http://192.168.163.132:8088 页面正常显示,则成功。

    五、运行wordcount hdfs dfs -put in.txt /adir 上传本地当前路径下的in.txt文件 到hdfs的/adir目录下。 运行hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /adir/in.txt output/。 在http://192.168.163.132:50070 查看/user/root/output/part-r-00000文件里的词频统计结果。 如下图所示:

    最新回复(0)