'utf-8' codec kann nicht decodieren byte 0x80

Ich versuche, download BVLC ausgebildete Modell, und ich bin stecken mit diesem Fehler

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 110: invalid start byte

Ich denke, es ist, weil die folgende Funktion (vollständige code)

  # Closure-d function for checking SHA1.
  def model_checks_out(filename=model_filename, sha1=frontmatter['sha1']):
      with open(filename, 'r') as f:
          return hashlib.sha1(f.read()).hexdigest() == sha1

Irgendeine Idee, wie man dieses Problem beheben?

Die Fehlermeldung ist ziemlich eindeutig. Entweder die Datei ist nicht UTF-8, oder es ist beschädigt.
Das ist das, was ich habe, wenn ich versuchen zu drucken f <_io.TextIOWrapper name='models/bvlc_reference_caffenet/bvlc_reference_caffenet.caffemodel' mode='r' encoding='utf8'>
Interessant. Also, was passiert, wenn Sie geben Sie der Datei die Kodierung explizit? So etwas wie open(filename, 'r', encoding='utf8') ?
Ich habe versucht, ändern die 2. Zeile mit dieser with open(filename, 'r', encoding='utf8') as f: aber ich habe die gleiche err
Nein, Sie nicht sagen, Python ist es UTF8. Es sei denn, Sie sind sicher, dass es sein sollte - aber Python ist Ihnen, daß es ist nicht gültige UTF8, sondern etwas anderes. Öffnen Sie die Datei mit einem guten code-editor und sehen, was drin ist.

InformationsquelleAutor Ehab AlBadawy | 2016-04-24

  1. 15

    Sie eine Datei öffnen, die nicht UTF-8 kodiert sind, während die Standard-Kodierung für Ihr system ist auf UTF-8 eingestellt.

    Da Sie die Berechnung eines SHA1-hash, sollten Sie die Daten als binäre statt. Die hashlib - Funktionen müssen Sie pass in bytes:

    with open(filename, 'rb') as f:
    return hashlib.sha1(f.read()).hexdigest() == sha1

    Beachten Sie die Zugabe von b im file-Modus.

    Sehen die open() - Dokumentation:

    Modus ist eine optionale Zeichenfolge, die angibt, in welchem Modus die Datei geöffnet wird. Es wird standardmäßig auf 'r' was bedeutet, dass zum Lesen geöffnet im text-Modus. [...] Im text-Modus, wenn Codierung nicht angegeben ist die verwendete Codierung ist Plattform abhängig: locale.getpreferredencoding(False) wird aufgerufen, um die aktuelle locale-Codierung. (Zum Lesen und schreiben von raw-bytes benutzen Sie den binary-Modus und lassen Sie Codierung nicht angegeben.)

    und von der hashlib - Modul-Dokumentation:

    Können Sie jetzt füttern Sie dieses Objekt mit Byte-ähnlichen Objekte (normalerweise bytes) mit der update () - Methode.

    InformationsquelleAutor Martijn Pieters

  2. 5

    Sie nicht angegeben haben, öffnen Sie die Datei im binary-Modus, so f.read() ist zu Lesen versucht, die Datei als UTF-8-kodierte text-Datei, die scheint nicht zu funktionieren. Aber da wir die hash bytes, nicht von strings, ist es egal, was die Codierung ist, oder sogar, ob die Datei text an alle: einfach öffnen, und dann Lesen Sie es, als eine binäre Datei.

    >>> with open("test.h5.bz2","r") as f: print(hashlib.sha1(f.read()).hexdigest())
Traceback (most recent call last):
  File "<ipython-input-3-fdba09d5390b>", line 1, in <module>
    with open("test.h5.bz2","r") as f: print(hashlib.sha1(f.read()).hexdigest())
  File "/home/dsm/sys/pys/Python-3.5.1-bin/lib/python3.5/codecs.py", line 321, in decode
    (result, consumed) = self._buffer_decode(data, self.errors, final)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb8 in position 10: invalid start byte

    aber

    >>> with open("test.h5.bz2","rb") as f: print(hashlib.sha1(f.read()).hexdigest())
21bd89480061c80f347e34594e71c6943ca11325
    Dank DSM, die b gelöst.
    Nach so vielen tryouts war es so, dass b.

    InformationsquelleAutor DSM

  3. 2

    Da gibt es nicht einen einzigen Hinweis in der Dokumentation, noch src-code, ich habe keine Ahnung, warum, aber mit der b-char (ich denke, für binäre) vollständig funktioniert (tf-version: 1.1.0):

    image_data = tf.gfile.FastGFile(filename, 'rb').read()

    Für mehr Informationen check out: gfile

    InformationsquelleAutor 4F2E4A2E

Schreibe einen Kommentar