安装配置JDK+Eclipse+Maven+Hdfs命令

    xiaoxiao2022-07-06  230

    一、步骤:

    1.安装配置JDK

    ①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe:

    ②运行安装包,第一次选择JDK安装路径,第二次选择JRE安装路径,开始安装。

    ③配置JDK的环境变量,Path添加JDK的\bin的安装路径,cmd命令行运行javac,查看是否成功安装配置。

    2.安装Eclipse

    ①官网下载Eclipse安装包eclipse-inst-win64

    ① Maven官网,选择最近的镜像,选择Maven压缩包apache-maven-3.6.0-bin.tar.gz开始下载。

    4.Eclipse配置Maven

    ①修改settings.xml

    在安装所在文件夹\apache-maven-3.6.0下面,新建\repository文件夹,作为Maven本地仓库。在文件settings.xml里添加 <localRepository>C:\eclipse\apache-maven-3.6.0\repository</localRepository>。

    ②配置Maven的installation和User Settings

    【Preferences】→【Maven】→【Installations】配置Maven安装路径,【User Settings】配置settings.xml的路径。

    ③添加pom.xml依赖

    依赖(Maven Repository: hadoop),找到对应版本的三个依赖(如下),拷贝至pom.xml的<project>与</project>之间,保存之后自动生成Maven Dependencies。

    <dependencies>

      <dependency>

          <groupId>org.apache.hadoop</groupId>

          <artifactId>hadoop-hdfs</artifactId>

          <version>2.7.3</version>

      </dependency>

      <dependency> 

          <groupId>org.apache.hadoop</groupId> 

          <artifactId>hadoop-client</artifactId> 

          <version>2.7.3</version> 

      </dependency>

      <dependency>

          <groupId>org.apache.hadoop</groupId>

          <artifactId>hadoop-common</artifactId>

          <version>2.7.3</version>

      </dependency>

    </dependencies>

    二、HDFS的Java程序

    1、HDFSMKdir.java新建HDFS目录/aadir。

    2、HDFSUpload.java写入/上传 本地文件c:\\hdfs\\aa.txt 到HDFS的/aadir目录下。

    3、加载包:

    4、HDFSDownload.java读/下载 HDFS的根目录文件/bb.txt 到本地c:\\hdfs目录下。

    5、加载包:

    6、HDFSFileIfExist.java查看HDFS文件/bb.txt是否存在。

    7、运行

    常用hdfs命令:

    hdfs的shell命令

    hdfs的shell命令,有三种形式,用前面两个。

    hdfs dfs    √

    hadoop fs  √

    hadoop dfs  ×

    常用的hdfs的shell命令:

    hdfs dfs -ls /  查看hdfs根目录下文件和目录

    hdfs dfs -ls -R /      查看hdfs根目录下包括子目录在内的所有文件和目录

    hdfs dfs -mkdir /aa/bb  在hdfs的/aa目录下新建/bb目录

    hdfs dfs -rm -r /aa/bb   删除hdfs的/aa目录下的/bb目录

    hdfs dfs -rm /aa/out.txt  删除hdfs的/aa目录下的out.txt文件

     

    hdfs dfs -put anaconda-ks.cfg /aa        把本地文件上传到hdfs

    hdfs dfs -copyFromLocal a.txt /          把本地文件上传到hdfs

    hdfs dfs -get /bb.txt bbcopy.txt          从hdfs下载文件到本地

    hdfs dfs -copyToLocal /bb.txt bbcopy.txt   从hdfs下载文件到本地

     

    最新回复(0)