运行wordcount自带实例(详述)

    xiaoxiao2021-04-15  383

    先确定你的hadoop集群已经启动(这很重要)

    进入hadoop的mapreduce目录下:

    cd /opt/module/hadoop/share/hadoop/mapreduce

    这个就是一会儿要运行的wordcount文件: 在当前目录下新建一个文件夹test:mkdir test 新建一个计数文件file.txt:touch file.txt 打开file.txt并随意给些字符:vi file.txt 按下esc输入: :wq! 保存并退出

    使用hdfs命令把file文件上传到hdfs中:

    hdfs dfs -ls / 查看hdfs根目录下文件和目录 hdfs dfs -mkdir /test 在hdfs的根目录下新建test目录

    hdfs dfs -put file.txt /test 把本地文件上传到hdfs的test 可以看到文件已经上传成功了 回到mapreduce目录下,或者在命令中加入路径

    hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /test/file.txt output/

    完成之后输入 hdfs dfs -ls /user/root/output 查看输出文件 也可以在web界面中查看: 如果想查看内容就通过hdfs命令下载这个文档到linux本地查看:

    hdfs dfs -get /user/root/output/part-r-00000 /opt/module/output.txt

    输出路径和输出文本名字可以自己选择

    查看即可 cat output.txt


    最新回复(0)