Wie Sie eine csv-Datei zeilenweise und ersetzen/Bearbeiten bestimmter Linien, wie Sie gehen?

Ich habe eine 60GB csv-Datei die ich brauche, um einige änderungen an. Der Kunde möchte einige änderungen an den Dateien Daten, aber ich will nicht regeneriert werden die Daten in der Datei, da dauerte es 4 Tage zu tun.

Wie kann ich die Datei Lesen, Zeile für Zeile (nicht laden es werden alle in den Speicher!), und Bearbeiten Sie diese Linien als ich gehe, ersetzen bestimmter Werte etc.?

in diesem Fall, warum nicht Sie versuchen, mithilfe von Hadoop-Karte reduzieren....
Sie werden in der Lage zu tun, hier nur änderungen vor, wenn die modifizierte-Zeile wird noch Länge nicht überschreitet original-line Länge
Warum nicht einfach schreiben, um eine neue Datei? Also: 1. Lesen Sie 2. Ändern Sie 3.Schreiben Sie zu kopieren. Ist das etwas, das Sie nicht wollen, zu tun, oder sind Sie nur auf der Suche nach einer "eleganten" Weg, dies zu tun?
naja...Platz ist eine überlegung...das würde 120 GB von meiner Festplatte...
was? Dies ist nur eine einmalige csv-Datei, ich brauche es nicht in eine hadoop-Instanz!

InformationsquelleAutor richard | 2012-12-21

Schreibe einen Kommentar