2. 软件开发
    3. HDFS命令和Java API

    HDFS命令和Java API

    xiaoxiao2025-07-26  13

    HDFS命令和Java API

     

    实验目的及要求

    本次上机实验所涉及并要求掌握的知识点

    实验环境

    JDK、Eclipse、Maven

    实验步骤 安装配置JDK+Eclipse+Maven

    步骤：1.安装JDK→2.安装Eclipse→3.安装Maven→4. Eclipse里配置Maven （下载Windows版本，在Windows里安装使用。）

    1.安装配置JDK

    ①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 

    ②运行安装包，第一次选择JDK安装路径，第二次选择JRE安装路径，开始安装。

    ③配置JDK的环境变量，Path添加JDK的\bin的安装路径，cmd命令行运行javac，查看是否成功安装配置。

     

    2.安装Eclipse

    ①官网下载Eclipse安装包eclipse-inst-win64：https://www.eclipse.org/downloads/ 

    ②运行安装包，选择Eclipse IDE for Java Developers，开始安装。过程可能较慢。

    3.安装Maven

    ① Maven官网http://maven.apache.org/download.cgi，选择最近的镜像，选择Maven压缩包apache-maven-3.6.0-bin.tar.gz开始下载。

    ②解压Maven压缩包apache-maven-3.6.0-bin.tar.gz，解压后的文件夹\apache-maven-3.6.0，将其考入自定义路径，如C:\eclipse\apache-maven-3.6.0。

    ③配置Maven的环境变量，Path添加Maven的\bin的安装路径，cmd命令行运行mvn -v，查看是否成功安装配置。

    4.Eclipse配置Maven

    在安装所在文件夹\apache-maven-3.6.0下面，新建\repository文件夹，作为Maven本地仓库。

     

    修改settings.xml

    找到maven的安装路径，

    打开文件settings.xml在里面添加 （新建repository的路径）保存退出

    <localRepository>D:\apache\apache-maven-3.6.0\repository</localRepository>

    如下图位置：

    配置Maven的installation和User Settings

    【Preferences首选项】→【Maven】→【Installations】配置Maven安装路径

     

    【User Settings】配置settings.xml的路径。

    打开Window(窗口)->Preferences（首选项）->Maven->User Settings->Browse

     

    Eclipse里新建Maven Project

    在Eclipse里新建Maven Project

    在Eclipse里新建Maven Project

    输入com.bla，项目名称HDFSTest。

    等待自动生成Maven项目（可能要多等一下）

    新建包hdfs.files，包里新建class：4个java文件（名字如下）。

    添加pom.xml依赖

    找到最下面的pom.xml，右键打开，然后复制下面的红色内容pom.xml的<project>与</project>之间即可

    <dependencies>

      <dependency>

          <groupId>org.apache.hadoop</groupId>

          <artifactId>hadoop-hdfs</artifactId>

          <version>2.7.3</version>

      </dependency>

      <dependency>  

          <groupId>org.apache.hadoop</groupId>  

          <artifactId>hadoop-client</artifactId>  

          <version>2.7.3</version>  

      </dependency>

      <dependency>

          <groupId>org.apache.hadoop</groupId>

          <artifactId>hadoop-common</artifactId>

          <version>2.7.3</version>

      </dependency>

    </dependencies>

    （按ctrl+s保存，会弹出窗口下载依赖，速度会很慢，多等就好）保存之后自动生成Maven Dependencies。

     

    安装配置成功后，Maven项目树显示如下两项：

    HDFS命令和Java API

    Linux的shell命令

    常用的linux的shell命令：

    cd /aa          转到/aa目录

    pws            显示当前目录

    ll /aa           显示/aa目录

    mkdir /aa       新建/aa目录

    rm /aa/out.txt   删除/aa目录下的out.txt文件

    cat /aa/out.txt   查看/aa目录下的out.txt文件的内容

    vi /aa/out.txt    编辑/aa目录下的out.txt文件的内容

    ifconfig         查看IP地址

    ip addr         查看IP地址

    hdfs的shell命令

    hdfs的shell命令，有三种形式，用前面两个。

    hdfs dfs    √

    hadoop fs  √

    hadoop dfs  ×

    常用的hdfs的shell命令：

    hdfs dfs -ls /  查看hdfs根目录下文件和目录

    hdfs dfs -ls -R /      查看hdfs根目录下包括子目录在内的所有文件和目录

    hdfs dfs -mkdir /aa/bb  在hdfs的/aa目录下新建/bb目录

    hdfs dfs -rm -r /aa/bb   删除hdfs的/aa目录下的/bb目录

    hdfs dfs -rm /aa/out.txt  删除hdfs的/aa目录下的out.txt文件

     

    hdfs dfs -put anaconda-ks.cfg /aa        把本地文件上传到hdfs

    hdfs dfs -copyFromLocal a.txt /          把本地文件上传到hdfs

    hdfs dfs -get /bb.txt bbcopy.txt          从hdfs下载文件到本地

    hdfs dfs -copyToLocal /bb.txt bbcopy.txt   从hdfs下载文件到本地

     

    HDFS的Java程序

    1、HDFSMKdir.java新建HDFS目录/aadir。

    2、HDFSUpload.java写入/上传 本地文件c:\\hdfs\\aa.txt 到HDFS的/aadir目录下。

    3、HDFSDownload.java读/下载 HDFS的根目录文件/bb.txt 到本地c:\\hdfs目录下。

    4、HDFSFileIfExist.java查看HDFS文件/bb.txt是否存在。

     

    最新回复(0)