《大数据技术与应用》课程相关实验

    xiaoxiao2025-08-05  27

    《大数据技术与应用》课程相关实验

    主要内容 使用 VMWare Workstation pro安装 CentOS 7.6,安装并配置 Hadoop,实现伪分布式与分布式部署 启动自带MapReduce示例程序 WordCount 编写程序,利用 Hadoop 的 Java API 实现简单的文件系统读写功能

    使用 VMWare Workstation pro安装 CentOS 7.6,安装并配置 Hadoop,实现伪分布式与分布式部署

    安装 VMWare Workstation pro 参考教程:https://blog.csdn.net/liujiding/article/details/76252525 VM安装centos 参考教程:https://blog.csdn.net/u010194538/article/details/79777153 伪分布式配置 1.安装配置JDK ①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html ②运行安装包,第一次选择JDK安装路径,第二次选择JRE安装路径,开始安装。 ③配置JDK的环境变量,Path添加JDK的\bin的安装路径,cmd命令行运行javac,查看是否成功安装配置。

    2.安装Eclipse ①官网下载Eclipse安装包eclipse-inst-win64:https://www.eclipse.org/downloads/ ②运行安装包,选择Eclipse IDE for Java Developers,开始安装。过程可能较慢。

    3.安装Maven ① Maven官网http://maven.apache.org/download.cgi,选择最近的镜像,选择Maven压缩包apache-maven-3.6.0-bin.tar.gz开始下载。 ②解压Maven压缩包apache-maven-3.6.0-bin.tar.gz,解压后的文件夹\apache-maven-3.6.0,将其考入自定义路径,如C:\eclipse\apache-maven-3.6.0。 ③配置Maven的环境变量,Path添加Maven的\bin的安装路径,cmd命令行运行mvn -v,查看是否成功安装配置。

    4.Eclipse配置Maven ①修改settings.xml 在安装所在文件夹\apache-maven-3.6.0下面,新建\repository文件夹,作为Maven本地仓库。在文件settings.xml里添加 C:\eclipse\apache-maven-3.6.0\repository。 ②配置Maven的installation和User Settings 【Preferences】→【Maven】→【Installations】配置Maven安装路径,【User Settings】配置settings.xml的路径。 ③添加pom.xml依赖 依赖(Maven Repository: hadoop)所在网址:https://mvnrepository.com/tags/hadoop ,找到对应版本的三个依赖(如下),拷贝至pom.xml的与之间,保存之后自动生成Maven Dependencies。

    <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>2.7.3</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.7.3</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.3</version> </dependency> </dependencies>

    安装配置成功后,Maven项目树显示如下两项:

    最新回复(0)