Hadoop_hdfs_command

• HDFS常用Shell fs命令
  • fs 命令
    • 查看信息命令
    • 修改文件属性
    • 创建命令
    • 上传命令
    • 文件本地移动复制命令
    • 下载文件命令
    • 删除命令
    • 追加文件命令

HDFS常用Shell fs命令

• 统一格式

  hadoop command [genericOptions] [commandOption]

fs 命令

hadoop fs [genericOptions] [commandOption]

查看信息命令

• hadoop fs -ls 显示指定的文件的详细信息
• hadoop fs -ls -R ls 命令的递归版本
• hadoop fs -ls [-d][-R] -d：返回路径 -R：显示子目录信息
• hadoop fs -cat 将 指定的文件的内容输出到标准输出 （stdout）
• hadoop fs -stat [format] 以指定的格式返回指定的文件的相关信息，当不指定 format 时，返回文件 的创建日期
• hadoop fs -tail [-f] 将指定的文件最后1KB的内容输出到标准输出(stdout)上,-f选项用于持续监测新添加到文件中的内容
• hadoop fs -du 显示指定的文件或文件夹中所有文件的大小
• hadoop fs -test -[ezd] 检查指定的文件或文件夹的相关信息，不同选项的作用如下
  • -e 检查文件是否存在，如果存在返回0，否则返回1
  • -z检查文件是否是0字节，如果是返回0，否则返回1
  • -d如果路径是个目录，返回1，否则返回0

修改文件属性

• hadoop fs -chgrp [-R] group 将指定的文件所属的组改为group 使用-R对指定的文件夹内的文件进行递归操作，只适用于超级用户
• hadoop fs -chown [-R] [owner] [: [group]] 改变 指定文件的所有者 -R用于递归改变文件夹的文件所有者，只适用于超级用户
• hadoop fs -chmod [-R] 将指定的文件权限更改为,适用于超级用户和文件所有者
• hadoop fs -setrep [-R] 改变 指定的文件的副本系数，-R选项用于递归改变目录下所有文件的副本系数

创建命令

• hadoop fs -touchz 创建一个指定的空文件
• hadoop fs -mkdir [-p] 创建指定的一个或多个文件夹，-p选项用于递归创建子文件夹，即父目录不存在，先创建父目录，最后创建新的子目录

上传命令

• hadoop fs -copyFromLocal 将本地源文件 复制（上传）到hdfs服务器路径指定的文件或文件夹中
• hadoop fs -put 从本地文件系统中复制指定的单个或多个源文件到 指定的hdfs服务器系统中，也支持从标准输入（stdin）中读取输入并写入目标文件系统
• hadoop fs -moveFromLocal 与put 命令功能相同，但是文件上传结束后会从本地文件系统中删除指定的文件

文件本地移动复制命令

• hadoop fs cp 将文件从源路径（文件）复制到目标路径（文件）
• hadoop fs -mv 将文件从源路径（文件）移动到目标路径（文件）

下载文件命令

• hadoop fs -copyToLocal [-ignorecrc] [-crc] 将目标文件 复制到本地文件或文件夹中，可用 -ignorecrc 选项复制 CRC校验失败的文件，使用-crc 选项复制文件以及CRC信息
• hadoop fs -get [ignorecrc] -[crc] 复制 指定的文件到本地文件系统指定的文件或文件夹
• hadoop fs -getmerge [-nl] 对指定的源目录中的所有文件进行合并，写入（下载）到 指定的本地文件位置；-nl是可选的，用于指定在每个文件结尾添加一个换行符
• hadoop fs -test 将 指定的文件输出为文本格式，文件的格式也允许是zip和TextRecordInputStream

删除命令

• hadoop fs -rm 删除指定的文件，只删除非空目录和文件
• hadoop fs -rm -rf 删除 指定的文件夹及其下的所有文件，-r选项表示递归删除子目录，f表示强制删除不需要询问
• hadoop fs -expunge 清空回收站

追加文件命令

• hadoop fs -appendToFile 将键盘输入内容追加到文件尾：用"-"代替本地文件名例如 hadoop fs -appendToFile - /BigData2019/temp/a.txt，表示从键盘输入，Ctrl+C结束输入