Lesen Sie einige Parkett-Dateien zur gleichen Zeit Funken

Ich Lesen kann, einige json-Dateien zur gleichen Zeit mit * (Stern):

sqlContext.jsonFile('/path/to/dir/*.json')

Gibt es eine Möglichkeit, das gleiche zu tun, für Parkett? Sterne nicht funktioniert.

InformationsquelleAutor SkyFox | 2015-05-24

  1. 6

    Sehen dieses Problem auf der Funke jira. Es wird unterstützt von 1,4 ab.

    Ohne Upgrade auf 1.4, könnten Sie entweder auf die top-level-Verzeichnis:

    sqlContext.parquetFile('/path/to/dir/')

    dem laden alle Dateien in dem Verzeichnis. Alternativ können Sie die HDFS-API zu finden, die Dateien, die Sie möchten, und geben Sie Sie in parquetFile (es akzeptiert varargs).

    Ich bekomme AttributeError: 'SQLContext' object has no attribute 'parquetFile'

    InformationsquelleAutor dpeacock

  2. 13

    FYI, können Sie auch:

    • Lesen Teilmenge von Parkett-Dateien verwenden das wildcard-symbol * sqlContext.read.parquet("/path/to/dir/part_*.gz")

    • Lesen mehrerer Parkett-Dateien, indem Sie explizit angeben, Sie sqlContext.read.parquet("/path/to/dir/part_1.gz", "/path/to/dir/part_2.gz")

    Zusätzlich können Sie auch mit einem hadoop-glob-Muster oder nutzen Sie die spark-Partitionierungs-schema finden Sie unter stackoverflow.com/a/41712465/179014 .

    InformationsquelleAutor Boris

  3. 2
    InputPath = [hdfs_path + "parquets/date=18-07-23/hour=2*/*.parquet",
             hdfs_path + "parquets/date=18-07-24/hour=0*/*.parquet"]

df = spark.read.parquet(*InputPath)

    InformationsquelleAutor user6602391

  4. 0

    Für das Lesen: Geben Sie den Pfad der Datei und '*'

    Beispiel

    pqtDF=sqlContext.read.parquet("Path_*.parquet")

    InformationsquelleAutor Idrees

Schreibe einen Kommentar