Json-Objekt zu Parkett-format mit Java ohne Konvertierung in AVRO(Ohne Verwendung von Spark, Hive, Pig,Impala)

Konvertieren von JSON-Daten-Dateien zu Parkett, müssen Sie einige in-memory-Repräsentation. Parkett muss nicht seinen eigenen Satz von Java-Objekten; stattdessen verwendet Sie die Objekte aus anderen Formaten, wie Avro und Sparsamkeit. Die Idee ist, dass Parkett arbeitet nativ mit den Objekten Ihrer Anwendungen benutzen wahrscheinlich schon.

Konvertieren Sie Ihre JSON, müssen Sie konvertieren die Aufzeichnungen zu Avro in-memory-Objekte und leitet diese an Parkett -, aber Sie brauchen nicht zu konvertieren eine Datei zu Avro und dann auf Parkett.

Umstellung auf Avro Objekte ist bereits für Sie getan, siehe Kite ist JsonUtil, und ist bereit, die Verwendung als Datei-reader. Die Umwandlung Methode, die Bedürfnisse einer Avro-schema, aber Sie verwenden können, die gleiche Bibliothek zu ableiten einer Avro-schema von JSON-Daten.

Schreiben diese Datensätze, Sie brauchen nur zu verwenden ParquetAvroWriter. Das ganze setup sieht wie folgt aus:

Schema jsonSchema = JsonUtil.inferSchema(fs.open(source), "RecordName", 20);
try (JSONFileReader<Record> reader = new JSONFileReader<>(
                    fs.open(source), jsonSchema, Record.class)) {

  reader.initialize();

  try (ParquetWriter<Record> writer = AvroParquetWriter
      .<Record>builder(outputPath)
      .withConf(new Configuration)
      .withCompressionCodec(CompressionCodecName.SNAPPY)
      .withSchema(jsonSchema)
      .build()) {
    for (Record record : reader) {
      writer.write(record);
    }
  }
}

InformationsquelleAutor blue