总结一些 Hadoop 常用的 shell 命令:
命令说明
hadoop fs -help查看命令帮助hadoop fs -ls /查看 hdfs 根目录下的文件列表hadoop fs -put localsrc dsthadoop fs -f -put localsrc dst上传本地文件到 hdfs,若文件已存在则报错;若文件存在,则覆盖上传hadoop fs -get src localdst从 hdfs 下载文件到本地hadoop fs -cat file查看某个文件内容hadoop fs -cp srcfile dstfile复制某个文件到另一个目录下hadoop fs -df -h /查看磁盘使用情况hadoop fs -du -s -h hdfs://jing-hadoop:9000/*统计根目录下的所有文件大小;这里必须使用 hdfs 完整目录,否则统计不到hadoop fs -mkdir -p /aa/bb递归创建文件夹;若不加 -p,不能递归创建hadoop fs -rm filenamehadoop fs -rm -r /aa/bbhadoop fs -rm -r /aa删除指定文件;删除 bb 整个目录,aa 目录还在;删除整个 aa 目录及其子文件夹
可以看出,Hadoop 命令跟普通的 Linux 命令很相似,只是所有的 Hadoop 命令都要带上 hadoop fs 前缀,我们最常用的就是 put、get 命令上传和下载文件。
需要注意的是,在 Hadoop 中已上传的文件内容不能被修改,但可以在原文件后面追加内容。