所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。
用法:hadoop [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]
Hadoop有一个选项解析框架用于解析一般的选项和运行类。
命令选项 描述 --config confdir 覆盖缺省配置目录。缺省是${HADOOP_HOME}/conf。 GENERIC_OPTIONS 多个命令都支持的通用选项。 COMMAND命令选项S 各种各样的命令和它们的选项会在下面提到。这些命令被分为 用户命令 管理命令两组。 常规选项下面的选项被 dfsadmin, fs, fsck和 job支持。 应用程序要实现 Tool来支持 常规选项。
GENERIC_OPTION 描述 -conf 指定应用程序的配置文件。 -D 为指定property指定值value。 -fs 指定namenode。 -jt 指定job tracker。只适用于job。 -files 指定要拷贝到map reduce集群的文件的逗号分隔的列表。 只适用于job。 -libjars 指定要包含到classpath中的jar文件的逗号分隔的列表。 只适用于job。 -archives 指定要被解压到计算节点上的档案文件的逗号分割的列表。 只适用于job。 用户命令hadoop集群用户的常用命令。
archive创建一个hadoop档案文件。参考 Hadoop Archives.
用法:hadoop archive -archiveName NAME *
命令选项 描述 -archiveName NAME 要创建的档案的名字。 src 文件系统的路径名,和通常含正则表达的一样。 dest 保存档案文件的目标目录。 distcp递归地拷贝文件或目录。参考DistCp指南以获取等多信息。
用法:hadoop distcp
命令选项 描述 srcurl 源Url desturl 目标Url fs用法:hadoop fs [GENERIC_OPTIONS] [COMMAND_OPTIONS]
运行一个常规的文件系统客户端。
各种命令选项可以参考HDFS Shell指南。
fsck运行HDFS文件系统检查工具。参考Fsck了解