nosql:hdfs_hadoop_20
Inhaltsverzeichnis
Hadoop HDFS 2.0 File System (FS) Shell
Die Befehle um mit dem HDFS zu arbeiten lehnen sich stark an die gewohnte Unix Syntax an.
Die Befehle können über drei Wege aufgrufen werden:
- hadoop fs {args}
- hadoop dfs {args} ⇒ „DEPRECATED: Use of this script to execute hdfs command is deprecated“
- hdfs dfs {args}
Kommando | Beispiel | Erläuterung |
---|---|---|
-help | hdfs dfs -help | Hife über alle möglichen Befehle |
-ls <pfad> | hdfs dfs -ls /usr | Inhalt eines Verzeichnisses anzeigen lassen - mit Schalter -h Größe formatiert |
-count <pfad> | hdfs dfs -count / | |
-mkdir <pfad> | hdfs dfs -mkdir /user/oracle/gpi | lege ein Verzeichnis an |
-cp <quell> <ziel> | hdfs dfs -cp test2 test3 | Kopieren im HDFS (ohne Pfadangabe im User Home) |
-rm | hdfs dfs -rm test3 | Löschen eine Datei |
-mv | hdfs dfs -mv test2 test3 | Verschiebe/Nennen eine Datei um |
-get | hdfs dfs -get test3 | hole ein Datei aus dem HDFS (ohne Pfadangabe mit den jeweiligen User Home im HDFS und OS |
-copyToLocal | hdfs dfs -copyToLocal test2 | Kopiere in das lokale Filesystem |
-put | hdfs dfs -put test2 test4 | Kopiere eine lokale Datei in des HDFS |
-copyFromLocal | hdfs dfs -copyFromLocal | Kopiere eine lokale Datei in des HDFS |
-cat | hdfs dfs -cat test4 | Zeige den Inhalt einer Datei auf dem HDFS an |
-tail | hdfs dfs -tail test4 | Tail auf eine Datei im HDFS |
Weitere hilfreiche Befehle für das HDFS
Welche Version von Hadoop ist im Einsatz mit "hadoop version"
hadoop version .. Hadoop 2.3.0-cdh5.0.0 ..
Status / Füllgrade / Größe des HDFS über "hdfs dfsadmin -report"
Als HDFS superuser für mehr Details aufrufen!
#normaler User hdfs dfsadmin -report Configured Capacity: 105688002560 (98.43 GB) Present Capacity: 100009517056 (93.14 GB) DFS Remaining: 99477118976 (92.65 GB) DFS Used: 532398080 (507.73 MB) DFS Used%: 0.53% Under replicated blocks: 2 Blocks with corrupt replicas: 0 Missing blocks: 0 ------------------------------------------------- report: Access denied for user root. Superuser privilege is required #superuser (Eigentümer HDFS) sudo -u hdfs hdfs dfsadmin -report ... Datanodes available: 1 (1 total, 0 dead) Live datanodes: ....
Falls das HDFS im "Savemode" läuft
Im Savemode können keine Veränderungen an Blöcken durchgeführt werden, normalerweise beim Start des Clusters.
Erkennen:
sudo -u hdfs hdfs dfsadmin -safemode get Safe mode is OFF
Einschalten:
sudo -u hdfs hdfs dfsadmin -safemode enter
Ausschalten:
sudo -u hdfs hdfs dfsadmin -safemode leave
Filesystem überprüfen "hdfs fsck /"
Als HDFS superuser!
sudo -u hdfs hdfs fsck / -blocks -locations -files
Quellen
nosql/hdfs_hadoop_20.txt · Zuletzt geändert: 2014/09/24 13:37 von gpipperr