Hadoop伪分布式模式配置并运行wordcount

Hadoop伪分布式模式配置并运行wordcount

只有一台虚拟机bigdata128，既是namenode又是datanode。

一、基础安装配置 首先要完成jdk+hadoop的安装配置；

此处附上jdk+hadoop的安装配置的连接： https://blog.csdn.net/Wxp_csdn/article/details/90439386

二、修改以下5个配置文件 在< configuration>与< /configuration>之间添加如下property： ①core-site.xml

<!--配置HDFS主节点，namenode的地址，9000是RPC通信端口--> <property> <name>fs.defaultFS</name> <value>hdfs://bigdata128:9000</value> </property> <!--配置HDFS数据块和元数据保存的目录，一定要修改--> <property> <name>hadoop.tmp.dir</name> <value>/opt/module/hadoop-2.7.3/tmp</value> </property>

②hdfs-site.xml

<!--注释配置数据块的冗余度，默认是3--> <property> <name>dfs.replication</name> <value>1</value> </property> <!--secondaryNameNode的主机地址--> <property> <name>dfs.namenode.secondary.http-address</name> <value>bigdata128:50090</value> </property>

③mapred-site.xml(该配置文件不存在，先复制) cp mapred-site.xml.template mapred-site.xml

<!--配置MR程序运行的框架--> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>

④yarn-site.xml

<!--配置Yarn的节点--> <property> <name>yarn.resourcemanager.hostname</name> <value>bigdata128</value> </property> <!--NodeManager执行MR任务的方式是Shuffle洗牌--> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>

注意：以上配置文件里面的bigdata128要换成你的虚拟机ip地址。

⑤Slaves文件里使用默认localhost，或者添加 bigdata128（既是NameNode又是DataNode） 注：如果Slaves文件为空，就没有DataNode和NodeManager。

⑥修改\etc\hosts配置文件 运行命令 vi \etc hosts 注释掉已有内容，添加虚拟机的ip及对应主机名： 虚拟机ip bigdata128

⑦修改\etc\hostname配置文件 运行命令 vi \etc hostname 添加虚拟机的主机名： bigdata128 重启虚拟机，主机名生效。

三、格式化 hdfs namenode -format （如果不是第一次格式化，格式化之前先删除/opt/module/hadoop-2.7.3/下面的tmp、logs两个目录）

四、启动 start-all.sh （如果启动之前已经启动过，启动之前先停止stop-all.sh） 查看伪分布式配置是否成功： ①执行ll，查看/opt/module/hadoop-2.7.3/tmp/dfs目录，如下图所示，则正确。 ②执行jps，如下图所示，NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager如果全部启动，伪分布式配置成功。 ③web控制台访问：http://虚拟机ip:50070 、http://虚拟机ip:8088 页面正常显示，则成功。

五、运行wordcount hdfs dfs -put in.txt /adir 上传本地当前路径下的in.txt文件 到hdfs的/adir目录下。 运行hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /adir/in.txt output/。 在http://虚拟机ip:50070 查看/user/root/output/part-r-00000文件里的词频统计结果。

六、SSH免密码登陆（解决每次启动hadoop输入用户密码问题） 生成公、私密钥对：ssh-keygen -t rsa 按3次回车键 查看：cd ~/.ssh路径下面的rd_rsa和rd_rsa.pub 复制：ssh-copy-id -i ~/.ssh/id_rsa.pub root@bigdata128 查看生成authorized_keys。