天天看點

Hadoop Shell指令

<a href="http://hadoop.apache.org/common/docs/r0.21.0/cn/hdfs_shell.html#FS+Shell">FS Shell</a>

<a href="http://hadoop.apache.org/common/docs/r0.21.0/cn/hdfs_shell.html#cat">cat</a>

<a href="http://hadoop.apache.org/common/docs/r0.21.0/cn/hdfs_shell.html#chgrp">chgrp</a>

<a href="http://hadoop.apache.org/common/docs/r0.21.0/cn/hdfs_shell.html#chmod">chmod</a>

<a href="http://hadoop.apache.org/common/docs/r0.21.0/cn/hdfs_shell.html#chown">chown</a>

<a href="http://hadoop.apache.org/common/docs/r0.21.0/cn/hdfs_shell.html#copyFromLocal">copyFromLocal</a>

<a href="http://hadoop.apache.org/common/docs/r0.21.0/cn/hdfs_shell.html#copyToLocal">copyToLocal</a>

<a href="http://hadoop.apache.org/common/docs/r0.21.0/cn/hdfs_shell.html#cp">cp</a>

<a href="http://hadoop.apache.org/common/docs/r0.21.0/cn/hdfs_shell.html#du">du</a>

<a href="http://hadoop.apache.org/common/docs/r0.21.0/cn/hdfs_shell.html#dus">dus</a>

<a href="http://hadoop.apache.org/common/docs/r0.21.0/cn/hdfs_shell.html#expunge">expunge</a>

<a href="http://hadoop.apache.org/common/docs/r0.21.0/cn/hdfs_shell.html#get">get</a>

<a href="http://hadoop.apache.org/common/docs/r0.21.0/cn/hdfs_shell.html#getmerge">getmerge</a>

<a href="http://hadoop.apache.org/common/docs/r0.21.0/cn/hdfs_shell.html#ls">ls</a>

<a href="http://hadoop.apache.org/common/docs/r0.21.0/cn/hdfs_shell.html#lsr">lsr</a>

<a href="http://hadoop.apache.org/common/docs/r0.21.0/cn/hdfs_shell.html#mkdir">mkdir</a>

<a href="http://hadoop.apache.org/common/docs/r0.21.0/cn/hdfs_shell.html#movefromLocal">movefromLocal</a>

<a href="http://hadoop.apache.org/common/docs/r0.21.0/cn/hdfs_shell.html#mv">mv</a>

<a href="http://hadoop.apache.org/common/docs/r0.21.0/cn/hdfs_shell.html#put">put</a>

<a href="http://hadoop.apache.org/common/docs/r0.21.0/cn/hdfs_shell.html#rm">rm</a>

<a href="http://hadoop.apache.org/common/docs/r0.21.0/cn/hdfs_shell.html#rmr">rmr</a>

<a href="http://hadoop.apache.org/common/docs/r0.21.0/cn/hdfs_shell.html#setrep">setrep</a>

<a href="http://hadoop.apache.org/common/docs/r0.21.0/cn/hdfs_shell.html#stat">stat</a>

<a href="http://hadoop.apache.org/common/docs/r0.21.0/cn/hdfs_shell.html#tail">tail</a>

<a href="http://hadoop.apache.org/common/docs/r0.21.0/cn/hdfs_shell.html#test">test</a>

<a href="http://hadoop.apache.org/common/docs/r0.21.0/cn/hdfs_shell.html#text">text</a>

<a href="http://hadoop.apache.org/common/docs/r0.21.0/cn/hdfs_shell.html#touchz">touchz</a>

調用檔案系統(FS)Shell指令應使用 bin/hadoop fs &lt;args&gt;的形式。 所有的的FS shell指令使用URI路徑作為參數。URI格式是scheme://authority/path。對HDFS檔案系統,scheme是hdfs,對本地檔案系統,scheme是file。其中scheme和authority參數都是可選的,如果未加指定,就會使用配置中指定的預設scheme。一個HDFS檔案或目錄比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child,或者更簡單的/parent/child(假設你配置檔案中的預設值是namenode:namenodeport)。大多數FS Shell指令的行為和對應的Unix Shell指令類似,不同之處會在下面介紹各指令使用詳情時指出。出錯資訊會輸出到stderr,其他資訊輸出到stdout。

使用方法:hadoop fs -cat URI [URI …]

将路徑指定檔案的内容輸出到stdout。

示例:

hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2

hadoop fs -cat file:///file3 /user/hadoop/file4

傳回值:

成功傳回0,失敗傳回-1。

使用方法:hadoop fs -chmod [-R] &lt;MODE[,MODE]... | OCTALMODE&gt; URI [URI …]

使用方法:hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

使用方法:hadoop fs -copyFromLocal &lt;localsrc&gt; URI

使用方法:hadoop fs -copyToLocal [-ignorecrc] [-crc] URI &lt;localdst&gt;

使用方法:hadoop fs -cp URI [URI …] &lt;dest&gt;

将檔案從源路徑複制到目标路徑。這個指令允許有多個源路徑,此時目标路徑必須是一個目錄。 

hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2

hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir

使用方法:hadoop fs -du URI [URI …]

顯示目錄中所有檔案的大小,或者當隻指定一個檔案時,顯示此檔案的大小。

hadoop fs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://host:port/user/hadoop/dir1 

成功傳回0,失敗傳回-1。 

使用方法:hadoop fs -dus &lt;args&gt;

顯示檔案的大小。

使用方法:hadoop fs -expunge

使用方法:hadoop fs -get [-ignorecrc] [-crc] &lt;src&gt; &lt;localdst&gt; 

複制檔案到本地檔案系統。可用-ignorecrc選項複制CRC校驗失敗的檔案。使用-crc選項複制檔案以及CRC資訊。

hadoop fs -get /user/hadoop/file localfile

hadoop fs -get hdfs://host:port/user/hadoop/file localfile

使用方法:hadoop fs -getmerge &lt;src&gt; &lt;localdst&gt; [addnl]

接受一個源目錄和一個目标檔案作為輸入,并且将源目錄中所有的檔案連接配接成本地目标檔案。addnl是可選的,用于指定在每個檔案結尾添加一個換行符。

使用方法:hadoop fs -ls &lt;args&gt;

如果是檔案,則按照如下格式傳回檔案資訊:

檔案名 &lt;副本數&gt; 檔案大小 修改日期 修改時間 權限 使用者ID 組ID 

如果是目錄,則傳回它直接子檔案的一個清單,就像在Unix中一樣。目錄傳回清單的資訊如下:

目錄名 &lt;dir&gt; 修改日期 修改時間 權限 使用者ID 組ID 

hadoop fs -ls /user/hadoop/file1 /user/hadoop/file2 hdfs://host:port/user/hadoop/dir1 /nonexistentfile 

使用方法:hadoop fs -lsr &lt;args&gt; 

ls指令的遞歸版本。類似于Unix中的ls -R。

使用方法:hadoop fs -mkdir &lt;paths&gt; 

接受路徑指定的uri作為參數,建立這些目錄。其行為類似于Unix的mkdir -p,它會建立路徑中的各級父目錄。

hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2

hadoop fs -mkdir hdfs://host1:port1/user/hadoop/dir hdfs://host2:port2/user/hadoop/dir

使用方法:dfs -moveFromLocal &lt;src&gt; &lt;dst&gt;

輸出一個”not implemented“資訊。

使用方法:hadoop fs -mv URI [URI …] &lt;dest&gt;

将檔案從源路徑移動到目标路徑。這個指令允許有多個源路徑,此時目标路徑必須是一個目錄。不允許在不同的檔案系統間移動檔案。 

hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2

hadoop fs -mv hdfs://host:port/file1 hdfs://host:port/file2 hdfs://host:port/file3 hdfs://host:port/dir1

使用方法:hadoop fs -put &lt;localsrc&gt; ... &lt;dst&gt;

從本地檔案系統中複制單個或多個源路徑到目标檔案系統。也支援從标準輸入中讀取輸入寫入目标檔案系統。

hadoop fs -put localfile /user/hadoop/hadoopfile

hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir

hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile

hadoop fs -put - hdfs://host:port/hadoop/hadoopfile 

從标準輸入中讀取輸入。

使用方法:hadoop fs -rm URI [URI …]

删除指定的檔案。隻删除非空目錄和檔案。請參考rmr指令了解遞歸删除。

hadoop fs -rm hdfs://host:port/file /user/hadoop/emptydir

使用方法:hadoop fs -rmr URI [URI …]

delete的遞歸版本。

hadoop fs -rmr /user/hadoop/dir

hadoop fs -rmr hdfs://host:port/user/hadoop/dir

使用方法:hadoop fs -setrep [-R] &lt;path&gt;

改變一個檔案的副本系數。-R選項用于遞歸改變目錄下所有檔案的副本系數。

hadoop fs -setrep -w 3 -R /user/hadoop/dir1

使用方法:hadoop fs -stat URI [URI …]

傳回指定路徑的統計資訊。

hadoop fs -stat path

使用方法:hadoop fs -tail [-f] URI

将檔案尾部1K位元組的内容輸出到stdout。支援-f選項,行為和Unix中一緻。

hadoop fs -tail pathname

使用方法:hadoop fs -test -[ezd] URI

選項:

-e 檢查檔案是否存在。如果存在則傳回0。

-z 檢查檔案是否是0位元組。如果是則傳回0。 

-d 如果路徑是個目錄,則傳回1,否則傳回0。

hadoop fs -test -e filename

使用方法:hadoop fs -text &lt;src&gt; 

将源檔案輸出為文本格式。允許的格式是zip和TextRecordInputStream。

使用方法:hadoop fs -touchz URI [URI …] 

建立一個0位元組的空檔案。

hadoop -touchz pathname