HDFS常用指令整理

文章目錄

• 檔案操作
• • 檢視檔案
  • 上傳和擷取檔案
  • 複制檔案
  • 建立檔案夾
  • 删除檔案指令
  • 檢視檔案指令
  • 移動檔案

檔案操作

檢視檔案

ls 指令

# 檢視hdfs根目錄
hdfs dfs -ls /

# 檢視hdfs其它目錄(/user/zhang)
hdfs dfs -ls /user/zhang
           

du 指令

hdfs dfs -du /user/zhang

# 将位元組自動轉化成機關
hdfs dfs -du -h /user/zhang
           

df 指令

# 檢視根目錄磁盤空間
hdfs dfs -df /
           

上傳和擷取檔案

put 指令

# 将client node中的NOTICE.txt檔案 put 到hdfs的/user/zhang檔案夾中
hdfs dfs -put NOTICE.txt /user/zhang

# 如果檔案存在，可以使用-f參數進行覆寫
hdfs dfs -put -f NOTICE.txt /user/zhang
           

get 指令

# 擷取hdfs中的/user/zhang/test/README.txt.gz檔案，到client node目前目錄

hdfs dfs -get /user/zhang/test/README.txt.gz

# 和copyToLocal指令一樣
           

複制檔案

copyFromLocal 指令

# 這個指令和put作用相同
hdfs dfs -copyFromLocal LICENSE.txt /user/zhang

如果存在LCENSE.txt檔案，要進行覆寫，加上-f參數，和put指令一樣
           

copyToLocal 指令

# 複制hdfs的/user/zhang/test/README.txt檔案到client node目前目錄
hdfs dfs -copyToLocal /user/zhang/test/README.txt
# 如果需要複制到指定目錄
hdfs dfs -copyToLocal /user/zhang/test/README.txt /指定目錄
           

cp 指令

# 将/user/zhang/NOTICE.txt 複制到 /user/zhang/test目錄
hdfs dfs -cp /user/zhang/NOTICE.txt /user/zhang/test
           

建立檔案夾

mkdir指令

# 建立一個abc目錄
hdfs dfs -mkdir /user/zhang/abc
           

删除檔案指令

rm指令

# 删除/user/zhang/NOTICE.txt檔案
hdfs dfs -rm /user/zhang/NOTICE.txt

# 删除/user/zhang/abc目錄
hdfs dfs -rm -r /user/zhang/abc
           

rmdir 指令

# 删除/user/zhang/demo目錄
hdfs dfs rmdir /user/zhang/demo
           

檢視檔案指令

cat 指令

# 檢視檔案
hdfs dfs -cat /user/zhang/test/README.txt
           

tail 指令（ 類似還有

head

）

hdfs dfs -tail /user/zhang/test/README.txt
           

移動檔案

mv

hdfs dfs -mv   要移動的檔案    目标檔案夾目錄
           

參考資料

1. Hadoop Shell指令 (官方文檔)
2. Hadoop - HDFS常用檔案操作指令 (比較完整)
3. HDFS常用的檔案操作指令 - 張行之