Exception in thread "main" org.apache.hadoop.mapred.InvalidJobConfException: Ausgabe-Verzeichnis nicht gesetzt

Hey, kann u bitte helfen Sie mir bei der Klärung folgender Fehler ? Ich bekomme wenn ich auf der Mapreduce-job fopr einfügen von Daten in hbase-Tabellen aus hdfs-Dateien. mit HFileOutputFormat.class , früher lief ich den gleichen mit MultiTableOutputFormat.class es war in Ordnung arbeiten , aber es war so viel Zeit beim einfügen von Daten in hbase-Tabellen .

Also kann u bitte helfen Sie mir ... 🙂
*

job.setMapOutputKeyClass(ImmutableBytesWritable.class);
job.setMapOutputValueClass(Put.class);
job.setInputFormatClass(TextInputFormat.class);

job.setOutputFormatClass(HFileOutputFormat.class);
job.setMapperClass(Map.class); HTable hTable = new HTable(conf,"ARK_3000");
HFileOutputFormat.configureIncrementalLoad(job, hTable);

FEHLER Sicherheit.UserGroupInformation: PriviledgedActionException
als:reddym (auth:EINFACH)
Ursache:org.apache.hadoop.mapred.InvalidJobConfException: Ausgang
Verzeichnis nicht gesetzt. Exception in thread "main"
org.apache.hadoop.mapred.InvalidJobConfException: Ausgabe-Verzeichnis nicht
set.

Dank Madhusudhana Reddy

InformationsquelleAutor MapReddy Usthili | 2013-03-08
  1. 3

    Stellen Sie sicher, dass die Ausgabe-Verzeichnis nicht schreibgeschützt ist und versuchen Sie es erneut benutzen nicht die Verzeichnisse wie das Stammverzeichnis eines Laufwerks. hoffe, das hilft
    Hinsichtlich

    BEARBEITEN : versuchen Sie, das, wo es fordert Sie für die Ausgabe-Verzeichnis

    HFileOutputFormat.setOutputPath(conf, new Path(<YOUR_LOCATION>));

    oder FileOutputFormat.setOutputPath(conf, new Path(<YOUR_LOCATION>));

    Und Sie müssen zu erwähnen, die Ausgabe-Verzeichnis, damit es weiß, wo die Daten zu schreiben, zu.

    Hoffe, das hilft dir weiter bei deinem problem, lass es mich wissen, wenn Sie weitere Hilfe benötigen. wie ich bin immer glücklich zu helfen.

    EDIT 2 : Sie erwähnen müssen eine Ausgabe-Verzeichnis, weil die Tabellen, die Sie schreiben, ist im Speicher abgelegt und beim beenden des Programms werden alle Daten im Speicher verloren.
    Zum Beispiel, wenn das Programm stürzt ab, alle Daten gehen verloren, es sei denn, es wird auf die Festplatte geschrieben. So werden die Daten gespeichert, um die Ausgabe-Verzeichnis ist ein backup im Fall, dass etwas schief geht.

    Ich hoffe, das beantwortet deine Frage eindeutig für Sie, wenn Sie weitere Hilfe verlassen, ein weiterer Kommentar
    Grüße
    Tom

    • Vielen Dank für die Schnelle Antwort 🙂 Bin ganz neu hbase . so kann u bitte erklären Sie genauer was Sie im code, um diesen Fehler loszuwerden. Eigentlich habe ich nicht Hinzugefügt, die folgende Zeile in den code , wenn ich muss hinzufügen dieser Zeile was zu schreiben cubeOutputPath wie wir schreiben in der hbase-Tabelle direkt , warum brauchen mentionthe Ausgabe-Verzeichnis. HFileOutputFormat.setOutputPath(job, cubeOutputPath);
    • Yes sir, Nur gesehen haben in einigen Artikel hinzufügen Weg, wie u sagen , MR-code läuft jetzt mit Fehler aber noch hat es nicht fertig alle Karten als jetzt . Und was meine Frage ist, Warum muss erwähnen das Ausgabe-Verzeichnis, wie wir schreiben wollen: schreiben von Daten in hbase-Tabellen .???
    • Genial:) hab Antwort ... Thanx wieder. 🙂 und ich lief oben-code für 500 Dateien, die hat 5000 Zeilen und in jeder Zeile hat 32 Spalten in einzelnen Dateien . und die einzelnen Dateien hat der 5,5 mb groß. früher MultiTableOutputFormat.class code war die Einnahme zu beenden, knapp 24 Stunden zu Ende 🙁 🙁 .und es hat sich nicht beendet Maptasks jetzt, wie viel Zeit sollte es dauern, beenden insgesamt about3-gb-Daten-zum einfügen in die hbase-Tabellen ???
    • Es ist schwer zu sagen, da es abhängig von der Geschwindigkeit Ihres Computers, ich würde sagen zwischen 12 und 48 Stunden. und auch Markieren Sie diese Antwort als korrekt, indem Sie auf das Häkchen unten meine Stimmen, damit ich weiß, dass Ihr 100% zufrieden
    • Genial:) hab Antwort ... Thanx wieder. 🙂 und ich lief oben-code für 500 Dateien, die hat 5000 Zeilen und in jeder Zeile hat 32 Spalten in einzelnen Dateien . und die einzelnen Dateien hat der 5,5 mb groß. früher MultiTableOutputFormat.class code war die Einnahme zu beenden, knapp 24 Stunden zu Ende 🙁 🙁 und es ist noch nicht beendet Maptasks jetzt, wie viel Zeit sollte es dauern, beenden insgesamt about3-gb-Daten-zum einfügen in die hbase-Tabellen ??? Und eine weitere Frage ist, theer jede MultiHFileOutputFormat Klasse zum schreiben von Daten in mehreren Tabellen ?/
    • Ich habe dies gefunden [link] (mail-archives.apache.org/mod_mbox/hbase-issues/201104.mbox/...), aber ich habe keine Erfahrung mit, es hoffe, das hilft trotzdem.

    InformationsquelleAutor 06needhamt
Schreibe einen Kommentar