HDFS(hadoop分布式文件系统)

    xiaoxiao2022-07-02  99

    HDFS(hadoop分布式文件系统)

    一、特点

    可存储超大文件一次写入,多次读取运行在普通廉价的机器

    二、不适用场景

    低延迟大量小文件多用户更新结构化数据数据量不大

    三、基本命令

    打印文件列表(ls)

    标准写法: hadoop fs -ls hdfs:/ #hdfs: 明确说明是HDFS系统路径 简写: hadoop fs -ls / #默认是HDFS系统下的根目录 打印指定子目录: hadoop fs -ls /package/test/ #HDFS系统下某个目录

    上传文件、目录(put、copyFromLocal) put用法:

    上传新文件: hdfs fs -put file:/root/test.txt hdfs:/ #上传本地test.txt文件到HDFS根目录,HDFS 根目录须无同名文件,否则“File exists” hdfs fs -put test.txt /test2.txt #上传并重命名文件。 hdfs fs -put test1.txt test2.txt hdfs:/ #一次上传多个文件到HDFS路径。 上传文件夹: hdfs fs -put mypkg /newpkg #上传并重命名了文件夹。 覆盖上传: hdfs fs -put -f /root/test.txt / #如果HDFS目录中有同名文件会被覆盖

    copyFromLocal用法:

    上传文件并重命名: hadoop fs -copyFromLocal file:/test.txt hdfs:/test2.txt 覆盖上传: hadoop fs -copyFromLocal -f test.txt /test.txt

    下载文件、目录(get、copyToLocal)

    拷贝文件到本地目录: hadoop fs -get hdfs:/test.txt file:/root/ 拷贝文件并重命名,可以简写: hadoop fs -get /test.txt /root/test.txt

    拷贝文件、目录(cp)

    从本地到HDFS,同put hadoop fs -cp file:/test.txt hdfs:/test2.txt 从HDFS到HDFS hadoop fs -cp hdfs:/test.txt hdfs:/test2.txt hadoop fs -cp /test.txt /test2.txt

    移动文件(mv)

    hadoop fs -mv hdfs:/test.txt hdfs:/dir/test.txt hadoop fs -mv /test.txt /dir/test.txt

    删除文件、目录(rm)

    删除指定文件 hadoop fs -rm /a.txt 删除全部txt文件 hadoop fs -rm /*.txt 递归删除全部文件和目录 hadoop fs -rm -R /dir/

    读取文件(cat、tail)

    hadoop fs -cat /test.txt #以字节码的形式读取 hadoop fs -tail /test.txt

    创建空文件(touchz)

    hadoop fs - touchz /newfile.txt

    创建文件夹(mkdir)

    hadoop fs -mkdir /newdir /newdir2 #可以同时创建多个 hadoop fs -mkdir -p /newpkg/newpkg2/newpkg3 #同时创建父级目录

    获取逻辑空间文件、目录大小(du)

    hadoop fs - du / #显示HDFS根目录中各文件和文件夹大小 hadoop fs -du -h / #以最大单位显示HDFS根目录中各文件和文件夹大小 hadoop fs -du -s / #仅显示HDFS根目录大小。即各文件和文件夹大小之和 第
    最新回复(0)