Vergleicht Zwei Text-Dateien, Entfernen Sie die doppelten Zeilen, und Schreiben die Ergebnisse in eine neue text-Datei

Habe ich zwei text-Dateien (das sind nicht gleich Anzahl der Zeilen/Größe). Ich würde gerne vergleichen, jede Zeile der kürzere text-Datei mit jeder Zeile der längere text-Datei. Wie es vergleicht, wenn es keine doppelten strings, möchte ich diese entfernt. Nicht zuletzt möchte ich schreiben das Ergebnis in eine neue Textdatei und drucken Sie den Inhalt.

Ist es ein einfaches Skript kann das für mich tun?

Jede Hilfe wäre sehr geschätzt werden.

Text-Dateien nicht sehr groß sind. Man hat etwa 10 Zeilen, und die andere hat über 5. Der code, den ich versucht habe (das scheiterte kläglich) unter:

for line in file2:
line1 = line
for line in file1:
    requested3 = file('request2.txt','a')
    if fnmatch.fnmatch(line1,line):
        line2 = line.replace(line,"")
        requested3.write(line2)
    if not fnmatch.fnmatch(line1,line):
        requested3.write(line+'\n')


    requested3.close()

Nur um zu klären - Sie möchten, um die Ausgabe der strings aus dem kurzen text-Datei, die Subtraktion von beliebigen Zeichenfolgen aus dem kurzen text-Datei, in der lange text-Datei? Auch, wie groß sind diese Dateien, und welchen code hast du geschrieben so weit?

InformationsquelleAutor Katie | 2011-08-04

4
```
with open(longfilename) as longfile, open(shortfilename) as shortfile, open(newfilename, 'w') as newfile:
    newfile.writelines(line for line in shortfile if line not in set(longfile))
```
Es ist einfach so. Dies wird kopieren von Zeilen aus shortfile zu newfile, ohne dass Sie alle in Erinnerung, wenn Sie auch existieren in longfile.

Wenn du auf Python 2.6 oder älter, würden Sie brauchen, um zu brüten, die mit Aussagen:
```
with open(longfilename) as longfile: 
    with open(shortfilename) as shortfile:
        with open(newfilename, 'w') as newfile:
```
Wenn du auf Python 2.5, müssen Sie entweder:
```
from __future__ import with_statement 
```
in der ganz oben Ihrer Datei, oder verwenden Sie einfach
```
longfile = open(longfilename) 
```
etc. und schließen Sie jede Datei selbst.

Wenn Sie brauchen, um zu manipulieren, die Linien, die eine explizite for Schleife ist in Ordnung, der wichtige Teil ist set(). Suche nach einem Element in einem set ist schnell, Suche eine Zeile in einer Liste ist langsam.
```
longlines = set(line.strip_or_whatever() for line in longfile)
for line in shortfile:
    if line not in longlines:
        newfile.write(line)
```
- Brauche ich, um eine Bibliothek zu importieren? Mein code ist nicht zu erkennen, die with-Anweisung?
- Aktualisieren Sie Ihre post zu erwähnen, welche version von python, die Sie verwenden. Bei Ihrem Lauf python von der Kommandozeile aus, wird es sagen, dass die version (ex: Python 2.7.1 Python 2.6, etc.)
- Bearbeitet meine Antwort zu klären, Python 2.5 situation.
- Meine version ist 2.6.4. Weiß immer noch nicht, was das mit dem statement ist.
- Sie sind entweder falsch über die version oder hast du nicht separat nest der mit Aussagen wie ich bereits erwähnt habe, müssen Sie mit Python 2.6. Siehe docs.python.org/reference/.... with und as sind reservierte Wörter und es ist ein standard-feature in 2.6, 2.5, benötigen Sie den future - Anweisung.
InformationsquelleAutor agf
2

Vorausgesetzt, die Dateien sind plain text, jede saite ist auf eine neue Zeile durch \n ein neue-Zeile-Zeichen:
```
small_file = open('file1.txt','r')
long_file = open('file2.txt','r')
output_file = open('output_file.txt','w')

try:
    small_lines = small_file.readlines()
    small_lines_cleaned = [line.rstrip().lower() for line in small_lines]
    long_file_lines = long_file.readlines()
    long_lines_cleaned = [line.rstrip().lower() for line in long_lines]

    for line in small_lines_cleaned:
        if line not in long_lines_cleaned:
            output_file.writelines(line + '\n')

finally:
    small_file.close()
    long_file.close()
    output_file.close()
```
Erklärung:
1. Da kann man nicht get 'mit' Aussagen arbeiten, öffnen wir zuerst die Dateien mithilfe von regulären Funktionen öffnen, dann mit einem try...finally-Klausel, Sie zu schließen, am Ende des Programms.
2. Wir nehmen die kleine Datei und die Datei und Entferne erst das abschließende '\n' (newline -) Zeichen mit .rstrip(), dann machen alle die Zeichen, die Kleinbuchstaben mit .lower(). Wenn Sie zwei Sätze identisch in jedem Aspekt, außer man hat Großbuchstaben und der andere nicht, Sie wird nicht' übereinstimmen. Sie zwingt Kleinschreibung wird vermieden, dass; wenn Sie lieber einen case-sensitiven Vergleich, entfernen Sie die .die untere () - Methode.
3. Wir gehen Zeile für Zeile in small_lines_cleaned (für line-in...) und sehen, ob es in der größeren Datei.
4. Ausgabe jeder Zeile, wenn es nicht in der mehr-Datei; fügen wir die '\n' Zeilenende-Zeichen, so dass jede Zeile, erscheint auf einer neuen Zeile, insteadOfOneGiantLongSetOfStrings
- Sie gehen davon aus, dass es okay ist, ändern Sie die Zeilen eine Menge... ich kann Sie sehen rstrip() aber lower() ändern können, Bedeutung. Auf der Suche durch eine lange Liste wird auch langsam; das ist genau das, was set() ist für.
- Bearbeitet die Beschreibung zu mehr ausdrücklich den Zweck .untere() (kann entfernt werden wenn unerwünscht). Auch gibt es nur 10 Zeilen in der Datei, um Geschwindigkeit Probleme trivial - ich habe versucht, es zu halten sehr einfach und Lesen-können, so könnte es verstanden werden.
- Danke. Ich habe versucht, das zu tun diese Tage. Es ist perfekt.
- Wenn Sie zufrieden sind mit der Antwort, die Sie "akzeptieren" Sie es, indem Sie Häkchen neben die Antwort ^^
InformationsquelleAutor chris
1

Ich würde verwenden difflib, es macht es leicht, Vergleiche dazu/diffs. Es ist ein nettes tutorial für die es hier. Wenn Sie wollte nur die Zeilen, die einzigartig in der kürzeren Datei:
```
from difflib import ndiff

short = open('short.txt').readlines()
long = open('long.txt').readlines()

with open('unique.txt', 'w') as f:
    f.write(''.join(x[2:] for x in ndiff(short, long) if x.startswith('-')))
```
- Das ist nicht die Art von Vergleich, den der OP sucht.
- Ewert: difflib unterstützt nicht die Art von Vergleich, die OP machen will? In welcher Weise? Es ist nur text.
- difflib gilt für den Fall, wo eine Datei ist eine modifizierte version von den anderen und wollen Sie die änderungen. Ich glaube nicht, dass der OP ist, das zu tun.
- die OP scheint zu wollen, dass die Zeilen in dem kurzen text, die nicht in der lange, das ist ziemlich einfach zu tun mit difflib: [x[2:] for x in difflib.ndiff(short, long) if x.startswith('-')]
- Aber sorgt er sich über die Ordnung des zweiten Datei? Ich nahm Sie nicht und so denken alle anderen Antworten. Aber das ist schwer zu sagen aus der Frage.
- Ein Nachteil dieses Ansatzes ist, dass die Linien gemeinsam müssen Sie Folgen der gleichen Reihenfolge zwischen den Dateien. Wenn angemessen auf die situation, es ist eine einfache Lösung.
InformationsquelleAutor zeekay
0

Ihrem code, wie es steht, prüft jede Zeile vor der Zeile in der anderen Datei. Aber das ist nicht, was Sie wollen. Für jede Zeile in der ersten Datei, die Sie brauchen, um zu überprüfen, ob jede Zeile in der anderen Datei entspricht, und dann drucken Sie es aus, wenn es keine Spiele.

InformationsquelleAutor Winston Ewert

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.