So exportieren Sie DataFrame csv in Scala?

Wie kann ich exportieren Spark DataFrame in eine csv-Datei mit Scala?

InformationsquelleAutor Tong | 2015-09-11
  1. 11

    Einfachste und beste Weg, dies zu tun ist die Verwendung spark-csv Bibliothek. Sie können überprüfen, dass die Dokumentation in den zur Verfügung gestellten link und here ist die scala Beispiel zum laden und speichern von Daten von/zu DataFrame.

    Code (Spark 1.4+):

    dataFrame.write.format("com.databricks.spark.csv").save("myFile.csv")

    Edit:

    Spark erstellt Teil-Dateien, die beim speichern der csv-Daten, wenn Sie wollen Zusammenführen der Teil-Dateien in einer einzigen csv -, bitte beachten Sie die folgenden:

    Merge-Spark-CSV-Ausgabe-Ordner, um eine Einzige Datei

    InformationsquelleAutor karthik manchala
  2. 8

    In Spark-Versionen 2+ können Sie einfach das folgende;

    df.write.csv("/your/location/data.csv")

    Wenn Sie sicherstellen möchten, dass die Dateien nicht mehr partitioniert, dann fügen Sie ein .coalesce(1) wie folgt;

    df.coalesce(1).write.csv("/your/location/data.csv")
    • Können wir benennen Sie die part_0000-Datei?
    • Sie können ganz einfach umbenennen, nachdem es geschrieben, wenn Sie es wünschen, mithilfe cp <old filepath> <new filepath> (oder hdfs dfs -cp <old filepath> <new filepath> wenn die Datei noch in hdfs) kopieren Sie die Datei auf Ihren aktuellen Standort, aber mit dem neuen Namen
    InformationsquelleAutor Taylrl
  3. 7

    Obige Lösung Exporte als csv-mehrere Partitionen. Ich habe eine andere Lösung gefunden, indem zero323 auf dieser stackoverflow-Seite, dass die Exporte einen dataframe in eine einzige CSV-Datei, wenn Sie mit coalesce. 

    df.coalesce(1)
  .write.format("com.databricks.spark.csv")
  .option("header", "true")
  .save("/your/location/mydata")

    Dies würde erstellen Sie ein Verzeichnis namens mydata wo finden Sie eine csv - Datei, die die Ergebnisse enthält.

    InformationsquelleAutor Abu Shoeb
Schreibe einen Kommentar