Laden Sie mehrere Dateien in der Schweinehaltung

Ich bin neu auf pig.

In der Schweine -, ich möchte mehrere VOB-Dateien mit Zeitstempel im Namen.

Wenn ich Dateien laden zwischen 2012/02/12 zu 2012/02/19, die folgenden Werke

$START = "12"
$END = "19"
raw_data = load '/table/status/2012/02/{$START,$END}' using Loader()

Nehme an, das start-Datum ist 2011/12/29-und Ende-Datum ist 2012/01/04, wie ändere ich die Zeile?

Vielen Dank für jede Hilfe!!!

InformationsquelleAutor jerry | 2012-09-27
  1. 11

    Den Bereich, den Sie benötigen, können geladen werden, indem die folgenden Einheiten:

    raw_data = load '/table/status/{2011/12/{29,3{0,1}},2012/01/0[1-4]}' using Loader()

    Hinweis, dass Schwein nutzt Hadoop ist Platzhalter also, was können Sie verwenden, hängt von der version des zugrunde liegenden HDFS. Dies funktioniert unter 0.20.

    Wenn ein komplexer Bereich benötigt wird, dann diese Art von directory enumeration vielleicht ein bisschen unflexibel. Deshalb verwenden Sie ein shell-Skript zum sammeln der Verzeichnisse, die Sie brauchen, wie vorgeschlagen hier

    InformationsquelleAutor Lorand Bendig
Schreibe einen Kommentar