Wie dem Namen der Datei, wenn saveAsTextFile in der Funke?

Beim speichern als Textdatei in spark version 1.5.1, die ich benutze: rdd.saveAsTextFile('<drectory>').

Aber wenn ich will, zu finden ist die Datei in diesem Verzeichnis, wie kann ich es nennen, was ich will?

Derzeit, ich denke, es ist benannt part-00000 müssen einige Standard. Wie kann ich ihm einen Namen geben?

Dies ist die Dokumentation, die ich gefunden habe: spark.apache.org/docs/1.1.1/api/python/... Können Sie vorschlagen, eine andere Quelle?
Welche version von spark verwenden Sie?
siehe aktualisierte Frage
Sie Lesen veralteten Dokumentation, jedoch ist die neueste doc kann hier gefunden werden Spark-1.5.2 s saveAsTextFile Anmerkung: Es gibt keinen Unterschied in diesem Bereich zwischen den Versionen 1.5.1 und 1.5.2.

InformationsquelleAutor Hunle | 2015-11-11

  1. 7

    Als ich sagte in meinem Kommentar oben, die Dokumentation mit Beispielen gefunden werden können hier. Und unter Angabe der Beschreibung der Methode saveAsTextFile:

    Speichern Sie diese RDD als text-file, mithilfe der string-Repräsentationen der Elemente.

    Im folgenden Beispiel sichere ich eine einfache RDD in eine Datei, dann lade ich es und drucken Sie dessen Inhalt.

    samples = sc.parallelize([
    ("[email protected]", "Alberto", "Bonsanto"),
    ("[email protected]", "Miguel", "Bonsanto"),
    ("[email protected]", "Stranger", "Weirdo"),
    ("[email protected]", "Dakota", "Bonsanto")
])

print samples.collect()

samples.saveAsTextFile("folder/here.txt")
read_rdd = sc.textFile("folder/here.txt")

read_rdd.collect()

    Wird die Ausgabe

    ('[email protected]', 'Alberto', 'Bonsanto')
('[email protected]', 'Miguel', 'Bonsanto')
('[email protected]', 'Stranger', 'Weirdo')
('[email protected]', 'Dakota', 'Bonsanto')

[u"('[email protected]', 'Alberto', 'Bonsanto')",
 u"('[email protected]', 'Miguel', 'Bonsanto')",
 u"('[email protected]', 'Stranger', 'Weirdo')",
 u"('[email protected]', 'Dakota', 'Bonsanto')"]

    Werfen wir einen Blick mit einem Unix-basierten terminal.

    usr@host:~/folder/here.txt$ cat *
('[email protected]', 'Alberto', 'Bonsanto')
('[email protected]', 'Miguel', 'Bonsanto')
('[email protected]', 'Stranger', 'Weirdo')
('[email protected]', 'Dakota', 'Bonsanto')

    InformationsquelleAutor Alberto Bonsanto

  2. 8

    Die richtige Antwort auf diese Frage ist, dass saveAsTextFile ermöglicht es Ihnen nicht um den Namen der aktuellen Datei.

    Der Grund dafür ist, dass die Daten partitioniert und in einem Pfad als parameter angegeben, um den Anruf zu saveAsTextFile(...) es behandeln, wie ein Verzeichnis, und schreiben Sie dann eine Datei pro partition.

    Können Sie anrufen rdd.coalesce(1).saveAsTextFile('/some/path/somewhere') und es wird /some/path/somewhere/part-0000.txt.

    Wenn Sie mehr Kontrolle benötigen, als dies, Sie brauchen, um eine tatsächliche Datei auf Ihr Ende, nachdem Sie die rdd.collect().

    Hinweis, diese ziehen Sie alle Daten in einen Testamentsvollstrecker, so dass Sie möglicherweise ausführen in den Speicher Probleme. Das ist das Risiko nehmen Sie.

    InformationsquelleAutor nod

  3. 2

    Es ist nicht möglich, benennen Sie die Datei als @kräftig gesagt. Es ist jedoch möglich, die Datei umzubenennen, rechts danach. Ein Beispiel für die Verwendung PySpark:

    sc._jsc.hadoopConfiguration().set(
    "mapred.output.committer.class",
    "org.apache.hadoop.mapred.FileOutputCommitter")
URI = sc._gateway.jvm.java.net.URI
Path = sc._gateway.jvm.org.apache.hadoop.fs.Path
FileSystem = sc._gateway.jvm.org.apache.hadoop.fs.FileSystem
fs = FileSystem.get(URI("s3://{bucket_name}"), sc._jsc.hadoopConfiguration())
file_path = "s3://{bucket_name}/processed/source={source_name}/year={partition_year}/week={partition_week}/"
# remove data already stored if necessary
fs.delete(Path(file_path))

df.saveAsTextFile(file_path, compressionCodecClass="org.apache.hadoop.io.compress.GzipCodec")

# rename created file
created_file_path = fs.globStatus(Path(file_path + "part*.gz"))[0].getPath()
fs.rename(
    created_file_path,
    Path(file_path + "{desired_name}.jl.gz"))

    InformationsquelleAutor Juan Riaza

Schreibe einen Kommentar