HDFS(Hadoop Distributed File System)
的常用命令包括文件操作、权限管理和集群管理等,以下是一些常见用法:
1. 文件操作命令
# 创建目录
hdfs dfs -mkdir /user/hadoop/test
# 上传本地文件到HDFS
hdfs dfs -put localfile.txt /user/hadoop/test/
# 从HDFS下载文件到本地
hdfs dfs -get /user/hadoop/test/file.txt localdir/
# 查看目录内容
hdfs dfs -ls /user/hadoop/test
# 查看文件内容
hdfs dfs -cat /user/hadoop/test/file.txt
# 复制HDFS文件
hdfs dfs -cp /user/hadoop/test/file.txt /user/hadoop/backup/
# 移动HDFS文件
hdfs dfs -mv /user/hadoop/test/file.txt /user/hadoop/newtest/
# 删除文件或目录
hdfs dfs -rm -r /user/hadoop/test
2. 文件权限命令
# 修改文件权限
hdfs dfs -chmod 755 /user/hadoop/test/file.txt
# 修改文件所有者
hdfs dfs -chown hadoop:hadoop /user/hadoop/test/file.txt
3. 文件状态和统计命令
# 查看文件状态
hdfs dfs -stat /user/hadoop/test/file.txt
# 查看HDFS使用情况
hdfs dfs -df -h /
# 查看文件块位置
hdfs fsck /user/hadoop/test/file.txt -files -blocks -locations
4. HDFS集群管理命令
# 启动HDFS集群
start-dfs.sh
# 停止HDFS集群
stop-dfs.sh
# 查看HDFS集群状态
hdfs dfsadmin -report
# 安全模式操作
hdfs dfsadmin -safemode enter # 进入安全模式
hdfs dfsadmin -safemode leave # 离开安全模式
hdfs dfsadmin -safemode get # 查看安全模式状态
# 刷新NameNode配置
hdfs dfsadmin -refreshNodes
5. 数据均衡命令
# 启动集群平衡器
start-balancer.sh
# 查看平衡器状态
hdfs balancer -status
6. 其他常用命令
# 查看HDFS版本
hdfs version
# 测试HDFS性能
hdfs dfs -test -e /user/hadoop/test/file.txt # 检查文件是否存在
hdfs dfs -test -d /user/hadoop/test # 检查是否为目录
这些命令涵盖了HDFS
的基本操作、权限管理、集群维护等方面。使用时需注意用户权限和集群配置,部分命令可能需要管理员权限执行。