トップ > Hadoop > 「Hadoop」よく使うコマンドまとめてみた

「Hadoop」よく使うコマンドまとめてみた

Hadoop

だいぶ前になりますが、以下のエントリーで Hadoop をインストールしました。

・「Hadoop」CentOS に Hadoop をインストールする - プログラム日記
http://a4dosanddos.hatenablog.com/entry/2013/04/19/125022

今回は、↑環境使って Hadoop でよく使うであろうコマンドをまとめてみました。
( ちょっとした時にメモあると便利かなということで。まぁ、ドキュメントみればええやんって話ですが・・・ )

■ ディレクトリ作成

./hadoop fs -mkdir /user/test/dir1

■ ファイルのコピー
- ローカルのファイルシステムから HDFS

./hadoop fs -put ./test.txt /user/test/dir1
./hadoop fs -copyFromLocal ./test.txt /user/test/dir1

※put と copyFromLocal の違いは以下みたいです。
-----
Similar to put command, except that the source is restricted to a local file reference.
-----
- HDFS からローカルのファイルシステム

./hadoop fs -get /user/test/dir1/test.txt ./test.txt
./hadoop fs -copyToLocal /user/test/dir1/test.txt ./test.txt

※get と copyToLocal の違いは以下みたいです。
-----
Similar to get command, except that the destination is restricted to a local file reference.
-----
- HDFS から HDFS

./hadoop fs -cp /user/test/dir1/test.txt /user/test/dir2/test.txt

■ ファイルの移動

./hadoop fs -mv  /user/test/dir1/test.txt  /user/test/dir2/test.txt

■ ディレクトリの内容を表示

./hadoop fs -ls /user/test/dir1

■ ファイルの内容を表示

./hadoop fs -cat /user/test/dir1/test.txt

■ ファイルの削除

./hadoop fs -rm /user/test/dir1/test.txt

■ ディレクトリの削除

./hadoop fs -rmr /user/test/dir1

※ 上記の作業ディレクトリは $HADOOP_HOME/bin になります。


ドキュメントは以下ですね。

・Commands Guide
http://hadoop.apache.org/docs/r1.0.4/commands_manual.html#fs
・File System Shell Guide
http://hadoop.apache.org/docs/r1.0.4/file_system_shell.html

以上です。