Schnell & Effizient Weg, Um Große JSON-Dateien Zeile für Zeile in Java

Hab ich 100 Millionen Datensätze in JSON - Datei, müssen Sie eine effiziente und Schnellste Methode zum Lesen der array von arrays, die aus einer JSON Datei in java.

JSON - Datei wie folgt Aussehen:

[["XYZ",...,"ABC"],["XYZ",...,"ABC"],["XYZ",...,"ABC"],...,["XYZ",...,"ABC"],
 ["XYZ",...,"ABC"],["XYZ",...,"ABC"],["XYZ",...,"ABC"],...,["XYZ",...,"ABC"],
 ...
 ...
 ...
 ,["XYZ",...,"ABC"],["XYZ",...,"ABC"],["XYZ",...,"ABC"]]

Will ich Lesen Sie diese JSON Datei zeilenweise als:

zuerst Lesen:

["XYZ",...,"ABC"]

dann:

["XYZ",...,"ABC"]

so:'

...
...
...
["XYZ",...,"ABC"]

Wie lese ich eine JSON Datei wie diese, ich weiß, es ist nicht vollständig, die Aussehen wie ein JSON - Datei, aber ich brauche, um diese Datei zu Lesen, die in diesem format gespeichert.JSON

Meinst du das JSON?? Oder bin ich etwas fehlt?
Tippfehler sorry JSON.
Zuerst die Datei sollte auf eine schnelle SSD. Als Nächstes könnten Sie versuchen, es zu Lesen, mit BufferedReader und sehen, wenn es das schon gibt Sie die maximale Geschwindigkeit Ihrer SSD ist in der Lage zu liefern. Wenn nicht versuchen FileChannel.map und sehen, wie schnell Sie Lesen können aus den daraus resultierenden ByteBuffer. Btw. Wenn Sie möchten, die Datei zu Lesen, mehr als einmal, stellen Sie sicher, Sie haben genug freien RAM in Ihrem Rechner zu erlauben, dass der OS-Puffer die gesamte Datei in den Speicher.

InformationsquelleAutor | 2017-04-10

  1. 4

    Können Sie JSON-Verarbeitung-API (JSR 353), um Ihre Daten zu verarbeiten, die in einem streaming-Mode:

    import javax.json.Json;
import javax.json.stream.JsonParser;

...

String dataPath = "data.json";

try(JsonParser parser = Json.createParser(new FileReader(dataPath))) {
     List<String> row = new ArrayList<>();

     while(parser.hasNext()) {
         JsonParser.Event event = parser.next();
         switch(event) {
             case START_ARRAY:
                 continue;
             case VALUE_STRING:
                 row.add(parser.getString());
                 break;
             case END_ARRAY:
                 if(!row.isEmpty()) {
                     //Do something with the current row of data 
                     System.out.println(row);

                     //Reset it (prepare for the new row) 
                     row.clear();
                 }
                 break;
             default:
                 throw new IllegalStateException("Unexpected JSON event: " + event);
         }
     }
}
    Als ich erklärte, dass eine HashMap und legen Sie die Zeile, die Werte in der HashMap aber Wenn ich wollen, um einen Wert in eine HashMap es Rückgabe eine leere Liste []. dies geschieht durch die Zeile.clear () - Anweisung. wie man dieses problem angehen?
    Nur neu erstellen die Zeile dann, statt zu löschen: row=new ArrayList<>() (in der END_ARRAY block). Und Sie besser sicherstellen, dass Sie genügend Speicher zum speichern von 100 Millionen Datensätze in einer riesigen HashMap.
    ersetzen Sie die Zeile.clear () - Zeile und führen Sie es, nehmen Sie eine Menge Zeit. Ich verwendete hashmap zu suchen, Daten effizienter zu gestalten, so gibt es andere Mittel zum speichern großer Datenmengen und die effiziente Suche verwendet werden (minimum) Speicher.
    es hängt alles davon ab, was Sie tun wollen, mit Ihren Daten, HashMap ist ok, so lange Sie genug Speicher haben.

    InformationsquelleAutor zeppelin

  2. 2

    Werfen Sie bitte einen Blick auf Jackson, die Streaming-API,

    Ich denke, Sie suchen so etwas wie dieses -
    https://www.ngdata.com/parsing-a-large-json-file-efficiently-and-easily/

    und diese - https://stackoverflow.com/a/24838392/814304

    Hauptsache -, wenn Sie eine große Datei, die Sie Lesen müssen und der Prozess-Datei, faul, Stück für Stück.

    Die Frage ist, aktualisiert freundlicherweise noch einmal Durchlaufen.
    Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
    Nicht laden Sie die gesamte Datei in den Speicher, verwenden Sie eine BufferredReader und split die Zeichenfolge.

    InformationsquelleAutor iMysak

  3. 1

    Können Sie JsonSurfer die Extraktion aller innere JSON-array durch ein JsonPath: $[*]

        JsonSurfer surfer = JsonSurferJackson.INSTANCE;
    surfer.configBuilder().bind("$[*]", new JsonPathListener() {
        @Override
        public void onValue(Object value, ParsingContext context) {
            System.out.println(value);
        }
    }).buildAndSurf(json);

    Nicht geladen ganzen Json, in den Speicher. JSON-array verarbeitet werden.

    InformationsquelleAutor Leo Wang

Schreibe einen Kommentar