Ausführen von hive-Abfragen und job-Informationen sammeln

Ich würde gerne eine Liste der erstellten HIVE-Abfragen.
Für jeden, ich möchte zum abrufen der HERR job_id (oder ids im Falle von mehreren Stufen).
Und dann, mit diesem job_id, das sammeln von Statistiken von job-tracker (kumulative CPU, bytes Lesen...)

Wie kann ich senden Sie HIVE-Abfragen aus einer bash-oder python-Skript, und rufen Sie die job_id(s) ?

Für den 2. Teil (sammeln von Statistiken für den job), benutzen wir eine MRv1 Hadoop-cluster, so dass ich nicht die AppMaster REST-API. Ich bin über das sammeln von Daten aus der jobtracker web-UI. Jede bessere Idee ?

InformationsquelleAutor mathieu | 2013-01-30
Schreibe einen Kommentar