eclipse+mavey运行hdfs

xiaoxiao2023-10-29 21

一、准备工作　（1）Hadoop2.7.2 在linux部署完毕，成功启动dfs和yarn，通过jps查看，进程都存在　（2）安装maven 二、最终效果　在windows系统中，直接通过Run as Java Application运行wordcount，而不需要先打包成jar包，然后在linux终端运行三，操作步骤　1、启动dfs和yarn 　　终端： ${HADOOP_HOME}/sbin/start-dfs.sh$ {HADOOP_HOME}/sbin/start-yarn.sh 　　通过在namenode节点上jps查看显示：　　4852 NameNode 　　5364 ResourceManager 　　5141 SecondaryNameNode 　　10335 Jps 　　在datanode节点上使用jps查看显示：　　10369 Jps 　　4852 NameNode 　　5364 ResourceManager 　　5141 SecondaryNameNode 　　2、Eclipse基础配置　　（1）将hadoop-eclipse-plugin-2.7.2.jar插件下载，放在Eclipse的目录下的plugins目录下，启动Eclipse，然后点击查看Hadoop插件是否生效，点击windows——>preferences，如下图1（2）将hadoop-2.7.2的解压包添加到2所示的目录，点击OK 　3、Eclipse创建maven工程　　（1）创建过程省略　　（2）添加dependency，POM.xml中的依赖项如下：　　hadoop-common 　　hadoop-hdfs 　　hadoop-mapreduce-client-core 　　　　　　hadoop-mapreduce-client-common

<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.2</version> </dependency>  <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>2.7.2</version> </dependency>  <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-mapreduce-client-core</artifactId> <version>2.7.2</version> </dependency>  <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-mapreduce-client-common</artifactId> <version>2.7.2</version> </dependency>

（3）此时可能会卡顿一段时间，Build workpath如果特别慢的话，请参考我前不久的一篇解决方法，等到maven中的依赖包下载install完毕即可　4、编写mapreduce中的wordcount代码　　代码此处不在累述，，简单代码架构（红色框的那个包）和内容如下：　　　WCMapper类：　　 package cn.edu.nupt.hadoop.mr.wordcount;

import java.io.IOException;

import org.apache.commons.lang.StringUtils; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper;

// 4个泛型中，前两个是指定的mapper输入数据的类型 //map 和 reduce 的数据输入输出是以key-value的形式封装的 //默认情况下，框架传递给我们的mapper的输入数据中，key是要处理的文本中一行的其实偏移量，这一行的内容作为value // JDK 中long string等使用jdk自带的序列化机制，序列化之后会携带很多附加信息，造成网络传输冗余， // 所以Hadoop自己封装了一些序列化机制 public class WCMapper extends Mapper<LongWritable, Text, Text, LongWritable>{

// mapreduce框架每读一行就调用一次该方法 @Override protected void map(LongWritable key, Text value,Context context) throws IOException, InterruptedException { //具体的业务写在这个方法中，而且我们业务要处理的数据已经被该框架传递进来 // key是这一行的其实偏移量，value是文本内容 String line = value.toString(); String[] words = StringUtils.split(line, " "); for(String word : words){ context.write(new Text(word), new LongWritable(1)); } }

}View Code　　WCReducer类：　 package cn.edu.nupt.hadoop.mr.wordcount;

import java.io.IOException;

import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Reducer;

public class WCReducer extends Reducer<Text, LongWritable, Text, LongWritable>{

// 框架在map处理完成之后，将所有的kv对缓存起来，进行分组，然后传递一个组 // <key,{value1,value2...valuen}> //<hello,{1,1,1,1,1,1.....}> @Override protected void reduce(Text key, Iterable<LongWritable> values,Context context) throws IOException, InterruptedException { long count = 0; for(LongWritable value:values){ count += value.get(); } context.write(key, new LongWritable(count)); }

}View Code　　WCRunner类 package cn.edu.nupt.hadoop.mr.wordcount;

import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; /** * *

WCRunner.java

Description:(1)用来描述一个作业(2)比如，该作业使用哪个类作为逻辑处理中的map，哪个作为reduce(3)还可以指定改作业要处理的数据所在的路径(4)还可以指定作业输出的路径 *

Company: cstor@author zhuxy2016年8月4日下午9:58:02 */ public class WCRunner { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job wcjob = Job.getInstance(conf); // 找到Mapper和Reducer两个类所在的路径 //设置整个job所用的那些类在哪个jar下 wcjob.setJarByClass(WCRunner.class); //本job使用的mapper和reducer类 wcjob.setMapperClass(WCMapper.class); wcjob.setReducerClass(WCReducer.class); //指定reduce的输出数据kv类型 wcjob.setOutputKeyClass(Text.class); wcjob.setOutputValueClass(LongWritable.class); // 指定map的输出数据的kv类型 wcjob.setMapOutputKeyClass(Text.class); wcjob.setMapOutputValueClass(LongWritable.class);

// // FileInputFormat.setInputPaths(wcjob, new Path(“hdfs://master:9000/wc/input/testHdfs.txt”)); // FileOutputFormat.setOutputPath(wcjob, new Path(“hdfs://master:9000/wc/output7/”));

FileInputFormat.setInputPaths(wcjob, new Path("file:///E:/input/testwc.txt")); FileOutputFormat.setOutputPath(wcjob, new Path("file:///E:/output3/")); wcjob.waitForCompletion(true); }

}View Code 　　此时代码张贴完毕。　5、在CentOS的本地创建一个文件，命名为testHdfs.txt（这个是我之前的测试文件，内容不重要，名字不重要，一致即可），内容如下：　　　　hello java　　　　hello Hadoop　　　　hello world　　创建好后，将文件上传到hdfs文件系统的/wc/input文件夹下面　　hadoop fs -put ./testHdfs.txt /wc/input　6、在WCRunner类中，右击Run as -->Java Application,出现如下错误：　　log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). 　　log4j:WARN Please initialize the log4j system properly. 　　log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info. 　　Exception in thread “main” java.lang.NullPointerException 　　at java.lang.ProcessBuilder.start(ProcessBuilder.java:1012) 　　 at org.apache.hadoop.util.Shell.runCommand(Shell.java:483) 　　 at org.apache.hadoop.util.Shell.run(Shell.java:456) 　　 at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:722) 　　 at org.apache.hadoop.util.Shell.execCommand(Shell.java:815) 　　 at org.apache.hadoop.util.Shell.execCommand(Shell.java:798)　　　　……　　　at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1308) 　　 at cn.edu.nupt.hadoop.mr.wordcount.WCRunner.main(WCRunner.java:55)　　解决办法：参考：eclipse Run on Hadoop java.lang.NullPointerException 　　方法：在Hadoop的bin目录下放winutils.exe，在环境变量中配置 HADOOP_HOME，把hadoop.dll拷贝到C:\Windows\System32下面即可　　　　注：此处最好将HADOOP_HOME/bin目录添加到path中，这样可以运行本地模式，即是上述代码中注释的部分　　两个文件的下载地址：win10下hadoo2.7.2的hadoop.dll和winutils.exe 　7、此时再次运行Run as -->Java Application，出现问题如下：　　　　log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). 　　log4j:WARN Please initialize the log4j system properly. 　　log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.　　文件夹创建成功，但是文件夹下面没有success 和运行结果part*文件，即/wc/output3下面没内容（输出结果）。　　解决办法：点击windows–>perspective–>open perspective–>other–>MapReduce，Eclipse界面效果如下：编辑结束点击finish。再次运行Run as -->Java Application，出现想要的结果了，如图：　　　　该图出现基本代表运行成功，没问题。但是发现MapReduce程序运行的计数器等信息没有打印在控制台，控制台只打印了log4j三行信息。解决方法见第8条

8、解决将输出的信息打印到Console上。

参考：Eclipse中运行MapReduce程序时控制台无法打印进度信息的问题　　这种情况一般是由于log4j这个日志信息打印模块的配置信息没有给出造成的，可以在项目的src目录下，新建一个文件，命名为“log4j.properties”，填入以下信息：

log4j.rootLogger=INFO, stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayout log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n log4j.appender.logfile=org.apache.log4j.FileAppender log4j.appender.logfile.File=target/spring.log log4j.appender.logfile.layout=org.apache.log4j.PatternLayout log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

　9、此时，所有的问题解决

（1）控制台打印信息

2016-08-05 00:56:45,209 INFO [org.apache.hadoop.conf.Configuration.deprecation] - session.id is deprecated. Instead, use dfs.metrics.session-id 2016-08-05 00:56:45,211 INFO [org.apache.hadoop.metrics.jvm.JvmMetrics] - Initializing JVM Metrics with processName=JobTracker, sessionId= 2016-08-05 00:56:45,856 WARN [org.apache.hadoop.mapreduce.JobResourceUploader] - Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this. 2016-08-05 00:56:45,918 WARN [org.apache.hadoop.mapreduce.JobResourceUploader] - No job jar file set. User classes may not be found. See Job or Job#setJar(String). 2016-08-05 00:56:45,976 INFO [org.apache.hadoop.mapreduce.lib.input.FileInputFormat] - Total input paths to process : 1

（2）/wc/outputn/part*输出的信息

Hadoop 1 　　　　hello 3 　　　　java　　1 　　　　world 1 　　至此成功实现。

最新回复(0)