Hadoop Pig nicht speichern kann, um einen vorhandenen Ordner

Habe ich einen Ordner erstellt, legen Sie die Ergebnis-Datei von einem Schwein-Prozess mit dem Speichern-Befehl. Es funktioniert beim ersten mal, aber das zweite mal, compains, dass der Ordner bereits vorhanden ist. Was ist die beste Praxis für diese situiation? Dokumentation ist spärlich zu diesem Thema.

Mein Nächster Schritt wird sein, benennen Sie den Ordner, den ursprünglichen Dateinamen, um die Auswirkungen dieser. Irgendwelche Gedanken?

InformationsquelleAutor mytwocents | 2013-01-30
  1. 8

    Führen Sie fs-Befehle innerhalb Schwein, und sollte in der Lage sein, um das Verzeichnis zu löschen, indem Sie die Ausstellung eines fs -rmr-Befehl vor dem ausführen des STORE-Befehls:

    fs -rmr dir
STORE A into 'dir' using PigStorage();

    Nur subtil ist die fs-Befehl-nicht erwarten, dass Sie Anführungszeichen um den Namen des Verzeichnisses, in der Erwägung, dass der store-Befehl nicht erwarten, dass Sie Anführungszeichen um den Namen des Verzeichnisses.

    • Das könnte nur funktionieren, reduzieren sich die möglichen Bedingungen, werde ich die Namen der Ordner die gleiche wie die Datei, also die Letzte Datei mit dem gleichen Namen zu verarbeiten, wird es nicht versäumen Sie auf "Ordner existiert" - danke
    • Ich hatte Mühe, mit dem "fs -rmr dir", wenn das Verzeichnis nicht bereits vorhanden ist. Aber Schwein hat den "rmf" - Befehl, der scheint zu funktionieren. stackoverflow.com/questions/11110403/...
    InformationsquelleAutor Chris White
Schreibe einen Kommentar