UnicodeDecodeError bei der Durchführung os.gehen

Recht, ich habe gerade einige Zeit damit verbracht zu Sortieren, die durch diese Fehler, und wordier Antworten hier sind nicht immer auf das zugrunde liegende Problem:

Das problem ist, wenn Sie eine unicode-Zeichenfolge in os.Fuß(), dann os.Spaziergang beginnt immer unicode zurück vom os.listdir() und versucht, Sie zu halten, als ASCII (also 'ascii' decode error"). Wenn es Sie trifft einer nur-unicode-Sonderzeichen, die str() kann nicht übersetzen, es wirft die Ausnahme.

Den Lösung ist die Kraft der Start-Pfad übergeben os.Spaziergang zu einem regulären string - d.h. os.zu Fuss(str(somepath)). Dies bedeutet, dass os.listdir gibt regelmäßige byte-wie strings und alles funktioniert so wie es soll.

Können Sie dieses problem reproduzieren (und zeigen es die Lösung funktioniert) trivial wie:

1. Gehen in die bash in einem Verzeichnis und führen Sie touch $(echo -e "\x8b\x8bThis is a bad filename") was machen einige test-Dateien.

2. Führen Sie nun die folgenden Python-code (iPython Qt ist sehr nützlich für diese) in das gleiche Verzeichnis:

   l = []
   for root,dir,filenames in os.walk(unicode('.')):
       l.extend([ os.path.join(root, f) for f in filenames ])
   print l

Und Sie erhalten ein UnicodeDecodeError.

1. Versuchen Sie jetzt:

   l = []
   for root,dir,filenames in os.walk('.'):
       l.extend([ os.path.join(root, f) for f in filenames ])
   print l

Kein Fehler und Sie erhalten eine ausdrucken!

Damit der sichere Weg in Python 2.x sicherstellen, dass Sie nur unformatierten text zu os.walk(). Sie absolut sollte nicht pass unicode oder Dinge, die sein könnten, unicode, weil os.zu Fuss wird dann ersticken, wenn ein interner ascii-Konvertierung schlägt fehl.

Dieses problem ergibt sich aus zwei fundamentalen Problemen. Die erste ist die Tatsache, dass Python 2.x Standard-Codierung ist 'ascii', während die Standard-Linux-encoding is 'utf8'. Sie können überprüfen, diese Kodierungen über:

sys.getdefaultencoding() #python
sys.getfilesystemencoding() #OS

Als os-Modul-Funktionen zurückgeben Verzeichnis Inhalt, nämlich os.walk & os.listdir gibt eine Liste von Dateien, die nur ascii-Dateinamen und nicht-ascii-Dateinamen der ascii-Kodierung von Dateinamen konvertiert Sie automatisch zu unicode. Die anderen sind nicht. Also, das Ergebnis ist eine Liste, die eine Mischung aus unicode-und str-Objekte. Es ist der str-Objekte, die verursachen können Probleme auf der ganzen Linie. Da Sie nicht ascii -, python hat keine Möglichkeit zu wissen, welche Codierung zu verwenden, und können daher nicht decodiert werden automatisch in unicode.

Daher, bei der Durchführung von gemeinsamen Operationen wie os.Pfad(Verzeichnis und Datei), wo dir ist unicode und Datei ist eine kodierte str, dieser Aufruf schlägt fehl, wenn die Datei nicht ascii-codiert sind (Standardeinstellung). Die Lösung ist zu prüfen, jeder mit dem Namen, sobald Sie abgerufen werden und decodieren der str (codiert sind) Objekte in unicode unter Verwendung der entsprechenden Kodierung.

Das ist das erste problem und seine Lösung. Die zweite ist etwas schwieriger. Da die Dateien ursprünglich von einem Windows-system, sind Ihre Dateinamen wahrscheinlich eine Kodierung genannt windows-1252. Ein einfaches Mittel der überprüfung ist zu nennen:

filename.decode('windows-1252')

Wenn eine gültige unicode-version der Ergebnisse, die Sie wahrscheinlich haben die richtige Kodierung. Sie können weiter zu überprüfen, ob durch den Aufruf drucken auf die unicode-version als auch und sehen die richtige mit dem Namen gerendert.

Eine Letzte Falte. In einem Linux-system mit Dateien von Windows-Herkunft, es ist möglich oder sogar wahrscheinlich, eine Mischung der windows-1252 und utf8 Codierungen. Es gibt zwei Möglichkeiten des Umgangs mit dieser Mischung. Die erste und vorzuziehen ist, um zu laufen:

$ convmv -f windows-1252 -t utf8 -r DIRECTORY --notest

wo ist das VERZEICHNIS, das enthält die Dateien, die Konvertierung benötigen.Dieser Befehl konvertiert beliebigen windows-1252-kodierte Dateinamen auf utf8. Es führt eine intelligente Konvertierung, das heißt, wenn ein Dateiname ist bereits utf-8 (oder ascii), wird es nichts tun.

Die alternative (wenn man nicht tun kann diese Konvertierung für einige Grund auch immer), etwas ähnliches zu tun on-the-fly in python. Zu Witz:

def decodeName(name):
    if type(name) == str: # leave unicode ones alone
        try:
            name = name.decode('utf8')
        except:
            name = name.decode('windows-1252')
    return name

Die Funktion versucht ein utf8-Dekodierung ersten. Wenn es ausfällt, dann fällt es zurück auf den windows-1252-version. Verwenden Sie diese Funktion nach einem os-call-zurückgeben einer Liste von Dateien:

root, dirs, files = os.walk(path):
    files = [decodeName(f) for f in files]
    # do something with the unicode filenames now

Ich persönlich fand das gesamte Thema unicode und Kodierung sehr verwirrend, bis ich Las dieses wunderbare und einfache Anleitung:

http://farmdev.com/talks/unicode/

Ich empfehle es für alle, die kämpfen mit unicode Probleme.

Nach Prüfung der Quelle des Fehlers etwas passiert, in dem C-code-routine listdir gibt die nicht-unicode-Dateinamen, wenn Sie nicht den standard-ascii. Nur der fix also ist zu tun gezwungen decodieren der Verzeichnis-Liste in os.gehen, das erfordert ein Ersatz des os.Fuss. Diese Ersatz-Funktion:

def asciisafewalk(top, topdown=True, onerror=None, followlinks=False):
    """
    duplicate of os.walk, except we do a forced decode after listdir
    """
    islink, join, isdir = os.path.islink, os.path.join, os.path.isdir

    try:
        # Note that listdir and error are globals in this module due
        # to earlier import-*.
        names = os.listdir(top)
        # force non-ascii text out
        names = [name.decode('utf8','ignore') for name in names]
    except os.error, err:
        if onerror is not None:
            onerror(err)
        return

    dirs, nondirs = [], []
    for name in names:
        if isdir(join(top, name)):
            dirs.append(name)
        else:
            nondirs.append(name)

    if topdown:
        yield top, dirs, nondirs
    for name in dirs:
        new_path = join(top, name)
        if followlinks or not islink(new_path):
            for x in asciisafewalk(new_path, topdown, onerror, followlinks):
                yield x
    if not topdown:
        yield top, dirs, nondirs

Durch das hinzufügen der Zeile:
Namen = [name.decode('utf8','ignore') for name in names]
alle Namen sind richtige ascii - & unicode, und alles ordnungsgemäß funktioniert.

Ist eine große Frage bleibt aber - wie kann das gelöst werden, ohne Rückgriff auf dieses hack??