Entfernen Sie Sonderzeichen aus einer csv-Datei mit python

Scheint es etwas zu diesem Thema bereits (So ersetzen Sie alle diese Sonderzeichen mit Leerzeichen in python?), aber ich kann nicht herausfinden, diese einfache Aufgabe für das Leben von mir.

Habe ich eine .CSV-Datei mit 75 Spalten und knapp 4000 Zeilen. Ich brauche, um zu ersetzen Sie alle den 'Sonderzeichen' ($ # & * ect) mit '_' und schreiben in eine neue Datei. Hier ist, was ich habe, so weit:

import csv

input = open('C:/Temp/Data.csv', 'rb')
lines = csv.reader(input)
output = open('C:/Temp/Data_out1.csv', 'wb')
writer = csv.writer(output)

conversion = '-"/.$'
text =  input.read()
newtext = '_'
for c in text:
    newtext += '_' if c in conversion else c
    writer.writerow(c)

input.close()
output.close()

All dies gelingt, ist um alles zu schreiben, um die Ausgabe-Datei als eine Spalte hat, produziert mehr als 65K Zeilen. Darüber hinaus werden die Sonderzeichen immer noch vorhanden!

Sorry für die überflüssigen Frage.
Vielen Dank im Voraus!

InformationsquelleAutor Jenny | 2013-04-01
  1. 4

    Ich könnte etwas tun, wie

    import csv

with open("special.csv", "rb") as infile, open("repaired.csv", "wb") as outfile:
    reader = csv.reader(infile)
    writer = csv.writer(outfile)
    conversion = set('_"/.$')
    for row in reader:
        newrow = [''.join('_' if c in conversion else c for c in entry) for entry in row]
        writer.writerow(newrow)

    schaltet

    $ cat special.csv
th$s,2.3/,will-be
fixed.,even.though,maybe
some,"shoul""dn't",be

    (beachten Sie, dass ich ein börsennotierter Wert) in

    $ cat repaired.csv 
th_s,2_3_,will-be
fixed_,even_though,maybe
some,shoul_dn't,be

    Recht jetzt Ihren code Lesen, den gesamten text in eine große Linie:

    text =  input.read()

    Ausgehend von einem _ Charakter:

    newtext = '_'

    Schleife über jeden einzelnen Charakter in text:

    for c in text:

    Fügen Sie die korrigierte Charakter newtext (sehr langsam):

        newtext += '_' if c in conversion else c

    Und dann schreiben die original Charakter (?), als eine Spalte, um einen neuen csv:

        writer.writerow(c)

    .. was unwahrscheinlich ist, zu sein, was Sie wollen. :^)

    • Hallo, können Sie erklären, ein bisschen mehr auf, wie newrow = [''.join('_' if c in conversion else c for c in entry) for entry in row] diese Zeile code funktioniert ?
    InformationsquelleAutor DSM
  2. 4

    Scheint dies nicht zu benötigen, um mit CSV ' s insbesondere (solange die Sonderzeichen sind nicht Ihre Spalte Trennzeichen).

    lines = []
with open('C:/Temp/Data.csv', 'r') as input:
    lines = input.readlines()

conversion = '-"/.$'
newtext = '_'
outputLines = []
for line in lines:
    temp = line[:]
    for c in conversion:
        temp = temp.replace(c, newtext)
    outputLines.append(temp)

with open('C:/Temp/Data_out1.csv', 'w') as output:
    for line in outputLines:
        output.write(line + "\n")
    • Ich denke, deine Schleife Logik ist falsch: das wird Ausgabe len(conversion) Linien für jede Zeile, oder etwa nicht?
    • Guter Fang, vielen Dank! Aktualisiert mit dem Update 🙂
    InformationsquelleAutor dckrooney
  3. 0

    Zusätzlich zu den bug hingewiesen hat @Nisan.H und zulässiger Punkt von @dckrooney, dass Sie möglicherweise nicht brauchen, um zu behandeln, die Datei in einer besonderen Art und Weise in diesem Fall, nur weil es eine CSV-Datei (siehe mein Kommentar unten):

    1. writer.writerow() sollte eine Sequenz von strings, von denen jeder hätte geschrieben werden sollen, durch Kommas getrennt (siehe hier). In Ihrem Fall, dass Sie schriftlich eine einzelne Zeichenfolge.
    2. Dieser code ist die Einstellung zum Lesen aus 'C:/Temp/Data.csv" in zwei Weise - durch input und durch lines aber nur eigentlich liest aus input (deshalb der code nicht die Datei als CSV-Datei sowieso).
    3. Fügt die code-Zeichen zu newtext und schreibt jede version dieser Variablen. So, die erste version von newtext wäre 1 Zeichen lang, das zweite 2 Zeichen lang sein, die Dritte 3 Zeichen lang sein, etc.

    Schließlich, gegeben, dass Sie eine CSV-Datei kann haben Anführungszeichen in es, kann es tatsächlich notwendig sein Angebot mit der Eingabe-Datei, die speziell als CSV zu vermeiden, ersetzen Anführungszeichen, die Sie behalten möchten, z.B. Anführungszeichen, die es zu schützen Kommas, die vorhanden Felder innerhalb der CSV-Datei. In diesem Fall wäre es notwendig, um jedes Feld der CSV-Datei einzeln, dann schreiben Sie jede Zeile der neuen CSV-Datei.

    • Fantastisch. Das funktionierte! Danke, dass Sie alle gehen mit mir durch diese.
    • Froh zu helfen. Wenn ich du wäre, würde ich geneigt sein zu ticken DSM ist die Antwort so richtig ist, wie es ist die am meisten vollständige und detaillierte. Das würde auch sparen andere Menschen sehen diese Frage und denken, es wurde noch nicht beantwortet.
    InformationsquelleAutor Simon
  4. 0

    Vielleicht versuchen

    s = open('myfile.cv','r').read()

chars = ('$','%','^','*') # etc
for c in chars:
  s = '_'.join( s.split(c) )

out_file = open('myfile_new.cv','w')
out_file.write(s)
out_file.close()
    • wenn Sie möchten, Schreibe Zeilen, aus welchem Grund auch immer, nur dann nicht rows = s.split('\n') nach der Schleife
    InformationsquelleAutor dermen
Schreibe einen Kommentar