Beste Weg, um zu vergleichen, große csv-Dateien?

Ich muss eine Anwendung, vergleicht einige sehr große csv - Dateien, jeweils mit 40.000 Sätze. Ich habe eine Anwendung, das funktioniert einwandfrei, aber er verbringt viel Zeit zu tun, dass der Vergleich, da die beiden Dateien könnte disordenated oder unterschiedliche Datensätze - das muss ich iterate (40000^2)*2-mal.

Hier ist mein code:

  if (nomFich.equals("CAR"))
    {
    while ((linea = br3.readLine()) != null)
    {

                array =linea.split(",");
                spliteado = array[0]+array[1]+array[2]+array[8];

                FileReader fh3 = new FileReader(cadena + lista2[0]);
                BufferedReader bh3 = new BufferedReader(fh3);

                find=0;

                while (((linea2 = bh3.readLine()) != null))

                {
                    array2 =linea2.split(",");
                    spliteado2 = array2[0]+array2[1]+array2[2]+array2[8];


                    if (spliteado.equals(spliteado2))
                    {

                        find =1;
                    }

                }
                if (find==0)

                {
                    bw3.write("+++++++++++++++++++++++++++++++++++++++++++");
                    bw3.newLine();
                    bw3.write("Se han incorporado los siguientes CGI en la nueva lista");
                    bw3.newLine();
                    bw3.write(linea);
                    bw3.newLine();
                    aparece=1;
                }
                bh3.close();


    }

Ich denke, dass mit einem Set in Java ist eine gute option, wie der folgende Beitrag nahelegt:
Vergleich von zwei csv-Dateien in Java

Aber vorher versuche ich es auf diesem Weg, ich würde gerne wissen, ob es irgendwelche bessere Optionen.

Dank für alles.

InformationsquelleAutor Deckard27 | 2014-03-24

comparator java

1
```
HashMap<String, String> file1Map = new HashMap<String, String>();

while ((String line = file1.readLine()) != null) {
  array =line.split(",");
  key = array[0]+array[1]+array[2]+array[8];
  file1Map.put(key, key);
}

while ((String line = file2.readLine()) != null) {
  array =line.split(",");
  key = array[0]+array[1]+array[2]+array[8];
  if (file1Map.containsKey(key)) {
    //if file1 has same line in file2
  }
  else {
    //if file1 doesn't have line like in file2
  }
}
```
- Die Zeile "if (file1Map.containsKey(key, key))" es sein muss, wenn (file1Map.containsKey(key)) ich nehme.
- Diese Lösung ist nicht funktioniert wie ein Bedürfnis, weil ich Vergleiche die anderen Werte der Schlüssel. Diese Suche nur nicht diferences zwischen zwei Datensätzen, die nur die Zeilen in adition nach dem Schlüssel.
- Deckard27, können Sie mir etwas mehr info, was willst du machen und ein kleines Beispiel? Denn ich verstehe nicht, was Sie tun möchten, zu tun, was ist Ihre Schlüssel in der Linie, etc.
- Zum Beispiel habe ich die nächste Zeile 214-007-03512-20025,214-007-03512-20574,47,513,-92,3,1,30 und ich vergleichen möchte mit der nächsten Zeile 214-007-03512-20025,214-007-03512-20574,47,513,-92,3,1,33 in diesem Fall die eindeutige id für den Datensatz ist 214-007-03512-20025,214-007-03512-20574, möchte ich zu dem zurückkehren in eine txt-Datei, die änderung 33 30 in der zweiten Zeile
- Pseudo-code, was zu tun ist in meinem Beispiel gegeben: ... file1Map.put(uniqueRecordId, 30); ... in der 2. und: ... file1Map.bekommen(uniqueRecordId).equalsIgnoreCase("33");
InformationsquelleAutor xsiraul

Soweit ich das interpretieren kann, Ihren code, den Sie brauchen, um herauszufinden, welche Zeilen in der ersten CSV-Datei nicht die gleiche Linie in der zweiten CSV-Datei. Richtig?

Wenn das so ist, brauchen Sie nur, um alle Zeilen aus der zweiten CSV-Datei in eine HashSet. Wie so (Java-7-code):

Set<String> linesToCompare = new HashSet<>();
try (BufferedReader reader = new BufferedReader(new FileReader(cadena + lista2[0]))) {
    String line;
    while ((line = reader.readLine()) != null) {
        String[] splitted = line.split(",");
        linesToCompare.add(splitted[0] + splitted[1] + splitted[2] + splitted[8]);
    }
}

Danach können Sie einfach Durchlaufen der Zeilen in der ersten CSV-Datei und vergleichen:

try (BufferedReader reader = new BufferedReader(new FileReader(...))) {
    String line;
    while ((line = reader.readLine()) != null) {
        String[] splitted = line.split(",");
        String joined = splitted[0] + splitted[1] + splitted[2] + splitted[8];
        if (!linesToCompare.contains(joined)) {
            //handle missing line here
        }
    }
}

Nicht, dass zu deinen Bedürfnissen passen?

Ich muss die beiden Dinge wirklich, die neuen Linien in jeder csv und finden Sie die änderungen in zwei Linien mit ähnlichen id, ich werde versuchen, die option, die Sie sagte. Aber ich habe ein neues problem, ich kann nur verwenden jre 1.6, da diese apps werden in einem server wo ich nicht ändern kann antything.

InformationsquelleAutor Seelenvirtuose

0

Vorausgesetzt, dies alles nicht in den Speicher passt, würde ich zuerst konvertieren Sie die Dateien in Ihr abgespeckte Versionen (el0, el1, el2, el8, orig-file-line-nr-für-Referenz-danach) und dann Sortieren Sie sagte-Dateien. Danach können Sie den Strom durch beide Dateien gleichzeitig und vergleichen Sie die Datensätze, wie Sie gehen... Wobei die Sortierung aus der Gleichung, die Sie nur brauchen, um Sie vergleichen zu 'einmal'.

Aber ich vermute, Sie könnte das gleiche tun mit einer Liste/Array-Objekt, das es ermöglicht, für das Sortieren und speichern im Speicher; 40k Datensätze wirklich klingt nicht viel zu mir, es sei denn, die Elemente sehr groß sind, natürlich. Und es geht um Größenordnungen schneller.

InformationsquelleAutor deroby

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.