Python DictWriter, der UTF-8-codierte CSV-Dateien schreibt

  1. Ich habe eine Liste der Wörterbücher, die mit unicode-strings.
  2. csv.DictWriter können, schreiben Sie eine Liste der Wörterbücher, die in einer CSV-Datei.
  3. Ich möchte die CSV-Datei in UTF8 kodiert sein.
  4. Die csv Modul nicht in den Griff Konvertierung von unicode-Zeichenketten in UTF8.
  5. Den csv Modul-Dokumentation ist ein Beispiel für die Konvertierung alles auf UTF8: 
    def utf_8_encoder(unicode_csv_data):
    for line in unicode_csv_data:
        yield line.encode('utf-8')
  6. Es hat auch eine UnicodeWriter Klasse.

Aber... wie mache ich DictWriter Arbeit mit diesen? Würden Sie nicht haben, um zu injizieren sich in der Mitte der es, zu fangen, den der geordneten Wörterbücher und Kodieren Sie Sie, bevor Sie es schreibt diese in die Datei? Ich verstehe es nicht.

InformationsquelleAutor der Frage endolith | 2011-04-30

  1. 73

    Wenn die mit Python 2.7 oder höher, verwenden Sie eine dict-comprehension neu das Wörterbuch auf utf-8, bevor Sie zum DictWriter:

    # coding: utf-8
import csv
D = {'name':u'马克','pinyin':u'mǎkè'}
f = open('out.csv','wb')
f.write(u'\ufeff'.encode('utf8')) # BOM (optional...Excel needs it to open UTF-8 file properly)
w = csv.DictWriter(f,sorted(D.keys()))
w.writeheader()
w.writerow({k:v.encode('utf8') for k,v in D.items()})
f.close()

    Können Sie diese Idee zu aktualisieren UnicodeWriter zu DictUnicodeWriter:

    # coding: utf-8
import csv
import cStringIO
import codecs

class DictUnicodeWriter(object):

    def __init__(self, f, fieldnames, dialect=csv.excel, encoding="utf-8", **kwds):
        # Redirect output to a queue
        self.queue = cStringIO.StringIO()
        self.writer = csv.DictWriter(self.queue, fieldnames, dialect=dialect, **kwds)
        self.stream = f
        self.encoder = codecs.getincrementalencoder(encoding)()

    def writerow(self, D):
        self.writer.writerow({k:v.encode("utf-8") for k,v in D.items()})
        # Fetch UTF-8 output from the queue ...
        data = self.queue.getvalue()
        data = data.decode("utf-8")
        # ... and reencode it into the target encoding
        data = self.encoder.encode(data)
        # write to the target stream
        self.stream.write(data)
        # empty queue
        self.queue.truncate(0)

    def writerows(self, rows):
        for D in rows:
            self.writerow(D)

    def writeheader(self):
        self.writer.writeheader()

D1 = {'name':u'马克','pinyin':u'Mǎkè'}
D2 = {'name':u'美国','pinyin':u'Měiguó'}
f = open('out.csv','wb')
f.write(u'\ufeff'.encode('utf8')) # BOM (optional...Excel needs it to open UTF-8 file properly)
w = DictUnicodeWriter(f,sorted(D.keys()))
w.writeheader()
w.writerows([D1,D2])
f.close()

    InformationsquelleAutor der Antwort Mark Tolonen

  2. 35

    Gibt es eine einfache Lösung mit der wunderbaren UnicodeCSV Modul. Nachdem Sie es, ändern Sie einfach die Zeile

    import csv

    zu

    import unicodecsv as csv

    Und es beginnt automatisch zu spielen schön mit UTF-8.

    Hinweis: Wechsel zu Python 3 wird auch befreien Sie von diesem problem (Dank jamescampbell für den Tipp). Und es ist etwas, das sollte man sowieso tun.

    InformationsquelleAutor der Antwort rlafuente

  3. 14

    Können Sie konvertieren Sie die Werte auf UTF-8-on-the-fly, wie Sie passieren die dict zu DictWriter.writerow(). Zum Beispiel:

    import csv

rows = [
    {'name': u'Anton\xedn Dvo\u0159\xe1k','country': u'\u010cesko'},
    {'name': u'Bj\xf6rk Gu\xf0mundsd\xf3ttir', 'country': u'\xcdsland'},
    {'name': u'S\xf8ren Kierkeg\xe5rd', 'country': u'Danmark'}
    ]

# implement this wrapper on 2.6 or lower if you need to output a header
class DictWriterEx(csv.DictWriter):
    def writeheader(self):
        header = dict(zip(self.fieldnames, self.fieldnames))
        self.writerow(header)

out = open('foo.csv', 'wb')
writer = DictWriterEx(out, fieldnames=['name','country'])
# DictWriter.writeheader() was added in 2.7 (use class above for <= 2.6)
writer.writeheader()
for row in rows:
    writer.writerow(dict((k, v.encode('utf-8')) for k, v in row.iteritems()))
out.close()

    Ausgabe foo.csv -:

    name,country
Antonín Dvořák,Česko
Björk Guðmundsdóttir,Ísland
Søren Kierkegård,Danmark

    InformationsquelleAutor der Antwort samplebias

  4. 6

    Können Sie eine proxy-Klasse zum Kodieren dict-Werte erforderlich sind, wie diese:

    # -*- coding: utf-8 -*- 
import csv
d = {'a':123,'b':456, 'c':u'Non-ASCII: проверка'}

class DictUnicodeProxy(object):
    def __init__(self, d):
        self.d = d
    def __iter__(self):
        return self.d.__iter__()
    def get(self, item, default=None):
        i = self.d.get(item, default)
        if isinstance(i, unicode):
            return i.encode('utf-8')
        return i

with open('some.csv', 'wb') as f:
    writer = csv.DictWriter(f, ['a', 'b', 'c'])
    writer.writerow(DictUnicodeProxy(d))

    InformationsquelleAutor der Antwort Daniel Kluev

  5. 2

    Beim Aufruf csv.writer mit Ihrem Inhalt, die Idee ist die übergabe der Inhalte durch utf_8_encoder als würde es Sie geben, die das (utf-8) codierten Inhalt.

    InformationsquelleAutor der Antwort Senthil Kumaran

  6. 1

    Meine Lösung ist ein bisschen anders. Während alle oben genannten Lösungen konzentrieren sich auf unicode-kompatibel dict, meine Lösungen macht DictWriter kompatibel mit unicode. Dieser Ansatz wird auch vorgeschlagen, in python docs (Eins).

    Klassen UTF8Recoder, UnicodeReader, UnicodeWriter stammen aus python docs. UnicodeWriter->writerow wurde geändert, ein bisschen zu.

    Verwenden Sie es als regelmäßige DictWriter/DictReader.

    Hier ist der code:

    import csv, codecs, cStringIO

class UTF8Recoder:
    """
    Iterator that reads an encoded stream and reencodes the input to UTF-8
    """
    def __init__(self, f, encoding):
        self.reader = codecs.getreader(encoding)(f)

    def __iter__(self):
        return self

    def next(self):
        return self.reader.next().encode("utf-8")

class UnicodeReader:
    """
    A CSV reader which will iterate over lines in the CSV file "f",
    which is encoded in the given encoding.
    """

    def __init__(self, f, dialect=csv.excel, encoding="utf-8", **kwds):
        f = UTF8Recoder(f, encoding)
        self.reader = csv.reader(f, dialect=dialect, **kwds)

    def next(self):
        row = self.reader.next()
        return [unicode(s, "utf-8") for s in row]

    def __iter__(self):
        return self

class UnicodeWriter:
    """
    A CSV writer which will write rows to CSV file "f",
    which is encoded in the given encoding.
    """

    def __init__(self, f, dialect=csv.excel, encoding="utf-8", **kwds):
        # Redirect output to a queue
        self.queue = cStringIO.StringIO()
        self.writer = csv.writer(self.queue, dialect=dialect, **kwds)
        self.stream = f
        self.encoder = codecs.getincrementalencoder(encoding)()

    def writerow(self, row):
        self.writer.writerow([unicode(s).encode("utf-8") for s in row])
        # Fetch UTF-8 output from the queue ...
        data = self.queue.getvalue()
        data = data.decode("utf-8")
        # ... and reencode it into the target encoding
        data = self.encoder.encode(data)
        # write to the target stream
        self.stream.write(data)
        # empty queue
        self.queue.truncate(0)

    def writerows(self, rows):
        for row in rows:
            self.writerow(row)

class UnicodeDictWriter(csv.DictWriter, object):
    def __init__(self, f, fieldnames, restval="", extrasaction="raise", dialect="excel", *args, **kwds):
        super(UnicodeDictWriter, self).__init__(f, fieldnames, restval="", extrasaction="raise", dialect="excel", *args, **kwds)
        self.writer = UnicodeWriter(f, dialect, **kwds)

    InformationsquelleAutor der Antwort b1r3k

Schreibe einen Kommentar