Hadoop MapReduce YARN Befehle
Mit „yarn –help“ lassen sich die verfübaren YARN Commandos anzeigen.
Einen MapReduce Applikation/Job starten
mit „hadoop jar <jar-datei-mit-der-applikation> <Main classname> <hdfs input Dir> <hdfs outputDir>„
oder alternaativ mit „yarn jar <jar-datei-mit-der-applikation> <Main classname>„ wird ein Job gestartet.
Bei der Grundinstallation sind einige Beispiel Applikationen dabei, mit denen auch gut das Cluster nach der Installation getestet werden kann.
cd $HADOOP_HOME/share/hadoop/mapreduce #see all examples yarn jar hadoop-mapreduce-examples-2.4.1.jar #Starten: # pi: A map/reduce program that estimates Pi using a quasi-Monte Carlo method. yarn jar hadoop-mapreduce-examples-2.4.1.jar pi 1 1 # mit daten in dfs # randomwriter: A map/reduce program that writes 10GB of random data per node. yarn jar hadoop-mapreduce-examples-2.4.1.jar randomwriter random-data .. Job started: Sun Aug 10 14:28:05 CEST 2014 .. .. 14/08/10 14:28:08 INFO mapreduce.Job: Running job: job_1407602714166_0003
siehe auch als Beispiel: http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.1-latest/bk_using-apache-hadoop/content/running_mapreduce_examples_on_yarn.html
Die MapReduce Applikation/Job auflisten
Mit „yarn application -list“ aktuell laufende Jobs auflisten lassen:
yarn application -list ... Application-Id Application-Name Application-Type User Queue State Final-State Progress Tracking-URL application_1407602714166_0002 Sqoop: GPI AUDIT2 MAPREDUCE hadoop default ACCEPTED UNDEFINED 0% N/A
Hier sollte nun der Job auch erfolgreich durchlaufen UND nicht im Status „ACCEPTED“ hängen bleiben.
Die MapReduce Applikation/Job beenden
Mit „yarn application -kill <job-id>“ läst sich ein laufender Job beenden.