Hadoop: Schlüssel und Wert sind tab-getrennt in die Ausgabedatei. wie es zu tun Semikolon-getrennt?

Ich denke, der Titel ist bereits erklärt meine Frage. Ich würde das gerne ändern

key (tab space) value

in

key;value

in alle output-Dateien sind die Reduzierstücke-Generierung aus der Ausgabe von Mappern.

Konnte ich nicht finden gute Dokumentation, die auf dieser mit google. Kann jemand bitte geben Sie nur einen Bruchteil des Codes, wie Sie diese erreichen?

welche version (0.20.2, 0.20.20 x, 1.0.x, 2.0.0?) und-Distribution (Apache, Cloudera?) von hadoop sind Sie mit
Was verwenden Sie als Ausgabeformat Klasse: o.a.h.mapred.TextOutputFormat oder o.a.h.mapreduce.lib.output.TextOutputFormat?

InformationsquelleAutor Bob | 2012-06-14

  1. 18

    Legen Sie die Eigenschaft Konfiguration mapred.textoutputformat.separator zu ";"

    Hallo Chris..ist es ok, um zu dem, was ich angegeben haben???
    es sollte mapreduce.Ausgabe.textoutputformat.Trennzeichen wenn Sie die neue API
    1.0.0 zeigt noch mapred.textoutputformat.separator in seiner Quelle für o.a.h.mapreduce.lib.output.TextOutputFormat - svn.apache.org/viewvc/hadoop/common/tags/release-1.0.0/src/..., Zeile 115
    MR2 (GARN), hat sich dies geändert zu mapreduce.textoutputformat.separator
    können darüber im klaren sein, was es bedeutet, eine neue vs alte API. Wenn Sie alles vor, um hadoop 2 (YARN), dann ist es mapred.textoutputformat.separator unabhängig, ob Sie o.a.h.mapred.TextOutputFormat oder o.a.h.mapreduce.lib.output.TextOutputFormat, sonst mit 2+ (GARN) es ist mapreduce.textoutputformat.separator unabhängig von was auch immer-version von TextOutputFormat, die Sie verwenden. Für Cloudera basierten Versionen vor v4 seine mapred.textoutputformat.separator, v4+ ist es mapreduce.textoutputformat.separator

    InformationsquelleAutor Chris White

  2. 15

    Mangels besserer Dokumentation, hier ist, was ich gesammelt habe:

        setTextOutputFormatSeparator(final Job job, final String separator){
            final Configuration conf = job.getConfiguration(); //ensure accurate config ref

            conf.set("mapred.textoutputformat.separator", separator); //Prior to Hadoop 2 (YARN)
            conf.set("mapreduce.textoutputformat.separator", separator);  //Hadoop v2+ (YARN)
            conf.set("mapreduce.output.textoutputformat.separator", separator);
            conf.set("mapreduce.output.key.field.separator", separator);
            conf.set("mapred.textoutputformat.separatorText", separator); //?
    }

    InformationsquelleAutor xgMz

  3. 1

    können Sie "KEY_VALUE_SEPERATOR" Eigentum von "KeyValueLineRecordReader" geben Sie ein Trennzeichen Ihrer Wahl.

    Diese Eigenschaft kann eingestellt werden, wenn das Lesen der Daten wieder in, aber nicht für die Ausgabe verwendet

    InformationsquelleAutor Tariq

Schreibe einen Kommentar