Konvertieren von großen CSV-Dateien zu JSON

Ich bin nicht dagegen, wenn dies erledigt ist mit einem separaten Programm, mit Excel, in NodeJS oder in eine web-app.

Es ist genau das gleiche problem wie hier beschrieben:

Es scheint, dass die OP nicht bekommen, die Antwort zu arbeiten (aber akzeptiert es trotzdem?). Ich habe versucht, mit ihm arbeitet, aber kann nicht scheinen, um es zu arbeiten entweder.

Kurz: ich arbeite mit ~50,000 Zeile CSV, und ich will es konvertieren zu JSON. Ich habe versucht, nur um jedes online "csv nach json" webapp gibt, alle crash-mit diesem großen des Datensatzes.

Habe ich versucht, viele Node CSV nach JSON-Module, aber, wieder, Sie, die alle Abstürzen. Die csvtojson Modul schien vielversprechend, aber ich habe diesen Fehler: FATAL ERROR: JS Allocation failed - process out of memory.

Was auf der Erde kann ich tun, um diese Daten in ein nutzbares format? Wie oben, ich habe nichts dagegen, wenn es eine Anwendung, dass etwas funktioniert in Excel, eine webapp oder ein Node-Modul, so lange, wie ich entweder eine .JSON Datei oder ein Objekt, das kann ich mit der in-Knoten.

Irgendwelche Ideen?

versuchen Sie, es zu schreiben, indem Sie Ihre eigenen und speichern Sie es in einer db oder auf die Festplatte jedes jetzt und dann

InformationsquelleAutor JVG | 2013-09-12

13

Du erwähnt csvtojson Modul oben und ist ein open-source-Projekt, das ich bin Pflege.

Ich bin traurig, dass es nicht für Sie arbeiten, und es wurde verursacht durch einen Fehler behoben, die vor mehreren Monaten.
Ich habe auch einige zusätzlichen Zeilen in der README-Datei für Ihr Szenario. Bitte schauen Sie sich Prozess Große CSV-Datei in die Befehlszeile ein.

Bitte stellen Sie sicher, dass Sie die neueste csvtojson release. (Derzeit ist es 0.2.2)

Können Sie aktualisieren, indem Sie
```
npm install -g csvtojson
```
Nachdem Sie installiert ist die Letzte csvtojson, die Sie gerade brauchen, um ausführen:
```
csvtojson [path to bigcsvdata] > converted.json
```
Diese streams Daten aus der csvfile. Oder wenn Sie streamen möchten Daten aus einer anderen Anwendung:
```
cat [path to bigcsvdata] | csvtojson > converted.json
```
Werden Sie die Ausgabe der gleichen Sache.

Habe ich manuell getestet, es mit einer csv-Datei mit über 3 Millionen Einträge und es funktioniert ohne ein Problem.

Ich glaube, Sie brauchen nur ein einfaches Werkzeug. Der Zweck der lib wird zur Linderung von stress wie dieses. Bitte lassen Sie mich wissen, wenn Sie irgendwelche Probleme treffen, das nächste mal, so konnte ich es lösen in der Zeit.
- Ich versuche aus csvtojson für eine große csv-Datei (~5GB/11million Zeilen). Ich hab die Datei gesplittet in mehrere Dateien (jeweils rund 20 MB/40k Zeilen). Auch wenn ich die Verarbeitung dieser Dateien der Reihe nach, der Prozess läuft weiter, aber hält das schreiben von weiteren Daten in json-Datei nach der Verarbeitung über 50k Zeilen. Irgendwelche Hinweise?
- Könnten Sie fügen Sie einige code, wie Sie es verarbeiten der CSV-Datei? Sollte es ok sein, selbst wenn Sie die 5 GB im csv-direkt.
- Ich bin mit dem cli csvtojson --delimiter=## x.csv > y.json
- welche version von csvtojson die Sie verwenden? update auf die neueste ein, wenn man das könnte..mit >npm install-g csvtojson
- aus dem Paket.json: "version": "0.3.21"
- Sollte es ok sein. dieses mehr aussieht, es ist etwas seltsam in der csv-Daten, die das verursachen analysieren gestoppt. Es wäre hilfreich, wenn Sie teilen könnten eine Beispiel-csv-Datei, die das Problem verursachen, die über google drive.
- Lassen Sie uns weiter, diese Diskussion im chat.
InformationsquelleAutor Keyang
5

Des npm csv Paket ist in der Lage, die Verarbeitung einer CSV-stream, ohne zu speichern Sie die komplette Datei im Speicher. Sie müssen installieren node.js und csv (npm install csv). Hier ist eine Beispiel-Anwendung, die schreiben von JSON-Objekten in einer Datei:
```
var csv = require('csv')
var fs = require('fs')
var f = fs.createReadStream('Fielding.csv')
var w = fs.createWriteStream('out.txt')

w.write('[');

csv()
.from.stream(f, {columns:true})
.transform(function(row, index) {
    return (index === 0 ? '' : ',\n') + JSON.stringify(row);
})
.to.stream(w, {columns: true, end: false})
.on('end', function() {
     w.write(']');
     w.end();
 });
```
Bitte beachten Sie die columns Optionen, benötigt, um die Spalten-Namen in der JSON-Objekte (sonst bekommst du ein einfaches array) und die end Optionen false, die erzählt Knoten nicht, schließen Sie die Datei-stream, wenn die CSV-stream wird geschlossen: diese ermöglicht es uns, fügen Sie die letzten ']'. Die transform callback bietet die Möglichkeit, Ihr Programm zu Haken in den Datenstrom und wandelt die Daten vor dem schreiben auf den nächsten stream.
- Sorry, ich bin ein bisschen spät Antworten hier. Dies ist in der Nähe, außer die out.text erstellt wird, ist nicht richtig JSON formatiert, sondern es ist nur eine Datei mit Zeilen der Objekte (es muss eine [ am start und ] am Ende, sowie Kommas am Ende jeder Zeile). Wenn Sie Bearbeiten, um dies zu korrigieren, ich werde es akzeptieren, wie die Antwort.
InformationsquelleAutor Paul Mougel
2

Beim arbeiten mit solch großen Datensatz, den Sie schreiben müssen, strömten die Verarbeitung eher als Last, > umwandeln > speichern. Laden von solch großen Sache - nicht passen würde der Speicher.

CSV-Datei selbst ist sehr einfach und hat wenig Differenzen über Formate. So schreiben Sie einfachen parser selbst. Wie gut JSON ist in der Regel einfach, wie gut und kann leicht verarbeitet, line by line, ohne zu laden ganze.
1. createReadStream aus CSV-Datei.
2. createWriteStream für die neue JSON-Datei.
3. on('data', ...) Prozess Daten Lesen: append general-string, und extrahieren Sie komplette Linien, falls verfügbar.
4. Auf die Art und Weise, wenn die Linie/Linien zur Verfügung, von readStream, konvertieren Sie Sie in JSON-Objekten und schieben Sie in writeStream der neue JSON-Datei.
Dies ist gut machbar mit pipe und das eigene Rohr in der Mitte, das wird konvertieren von Linien in Objekten geschrieben werden in die neue Datei.

Dieser Ansatz ermöglicht es, zu vermeiden, laden Sie die gesamte Datei in den Speicher, aber der Prozess es sich allmählich mit dem Teil laden, verarbeiten und schreiben Sie es und gehen Sie langsam vor.

InformationsquelleAutor moka
1

Können Sie versuchen, verwenden Sie OpenRefine (oder Google Refine).

Importieren Sie Ihre CSV-Datei. Dann können Sie Sie exportieren. Bearbeiten Vorlage für ein JSON-format.

http://multimedia.journalism.berkeley.edu/tutorials/google-refine-export-json/

InformationsquelleAutor Estevão Lucas

Dieser sollte den job tun.

npm i --save csv2json fs-extra //install the modules

const csv2json = require('csv2json');
const fs = require('fs-extra');

const source = fs.createReadStream(__dirname + '/data.csv');
const output = fs.createWriteStream(__dirname + '/result.json');
 source
   .pipe(csv2json())
   .pipe(output );

InformationsquelleAutor Bogdan

Nutzung von python-CLI

konvertiert alle csv Dateien in einem Ordner zu json - Datei, keine \n\r

import json
import csv

for x in range(1, 11):
    f = open('9447440523-Huge'+str(x)+'.csv', 'r')
    reader = csv.DictReader(f)
    i=0;
    jsonoutput = str(x)+'.json'
    with open(jsonoutput, 'a') as f:
            f.write('[')
            for x in reader:
                json.dump(x, f)
                f.write(',')
            f.write(']')

InformationsquelleAutor ikmahesh

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.