2. 软件开发
    3. linux学习笔记

    linux学习笔记

    xiaoxiao2022-07-05  154

    第三章MapReduce,架包

    MapReduce架包、调试WordCount程序

    一、在上一个发布的hdfs的基础上运行架包 package hdfs.files; import java.io.IOException; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.log4j.BasicConfigurator; public class HDFSFilelfExist { public static void main(String[] args) throws IOException{ BasicConfigurator.configure(); System.setProperty(“HADOOP_USER_NAME”, “root”); org.apache.hadoop.conf.Configuration conf=new org.apache.hadoop.conf.Configuration(); conf.set(“fs.defaultFS”, “hdfs://192.168.199.131:9000”); FileSystem client=FileSystem.get(conf); String fileName="/bb.txt"; if(client.exists(new Path(fileName))) { System.out.println(“文件存在！”); }else { System.out.println(“文件不存在！”); } } }

    在没有报错的基础对HDFSFilefExist.java程序进行打包。 二、把HDFSFilefExist.java从hdfs.files包中拖出来，它会自动形成另一个包default.package。 三、打包 1、（1）选中default.package→Export——Java——JAR file——next。 2、选择存放的路径，最后选择Finish，打包完成。 四、传输和解压架包 （1）打开SecureCRT，SecureCRT 【File】→【Connect SFTP Session】开启sftp操作 运行命令传输架包命令：put E:jar.jar （2）解压架包tar -zxvf mp.jar -C /opt/module

    五、运行自带程序wordcount （1）运行cd /opt/module/hadoop-2.7.3/share/hadoop/mapreduce 转入wordcount所在路径。 （2）运行wordcount hadoop jar jar.jar HDFSFileIfExist 运行成功之后，会出现文件已存在，说明架包成功。

    作者：weixin_43644600 来源： 原文：https://blog.csdn.net/weixin_43644600/article/details/90404798 版权声明：本文为博主原创文章，转载请附上博文链接！

    最新回复(0)