Wie entschlüssle ich in Python die GZIP-Kodierung?

Heruntergeladen ich eine Seite in meinem python-Skript.
In den meisten Fällen funktioniert dies gut.

Jedoch, hatte dieser einen Antwort-header: GZIP-Codierung, und als ich versuchte, drucken Sie den Quellcode der web-Seite, er hatte alle Symbole in meiner putty.

Wie decodieren dies normaler text?

InformationsquelleAutor der Frage TIMEX | 2010-04-22

  1. 67

    Ich verwende zlib zu Dekomprimieren Gzip-Inhalte aus dem web.

    import zlib

...
# f=urllib2.urlopen(url) 
decompressed_data=zlib.decompress(f.read(), 16+zlib.MAX_WBITS)

    InformationsquelleAutor der Antwort YOU

  2. 25

    Dekomprimieren Sie Ihre byte-stream über die eingebaute gzip-Modul.

    Wenn Sie irgendwelche Probleme haben, zeigen die genauen minimal-code, der Sie verwendet, die genaue Fehlermeldung und traceback, zusammen mit dem Ergebnis der print repr(your_byte_stream[:100])

    Weitere Informationen

    1. Für eine Erklärung des gzip/zlib/deflate Verwirrung, Lesen Sie die "Andere Anwendungen" Abschnitt dieser Wikipedia-Artikel.

    2. Es kann einfacher sein, verwenden Sie das zlib-Modul als das gzip-Modul, wenn Sie eine Zeichenfolge anstelle einer Datei. Leider ist die Python docs sind unvollständig/falsch:

    """
    zlib.decompress(string[, wbits[, bufsize]])
    ...
    Der absolute Wert von wbits ist die Basis-zwei-Logarithmus der Größe der history-Puffer ("Fenstergröße") verwendet, wenn die Komprimierung der Daten. Der absolute Wert sollte zwischen 8 und 15 für die neuesten Versionen der zlib-Bibliothek, größere Werte, was eine bessere Kompression auf Kosten der größeren Speichernutzung. Der Standardwert ist 15. Wenn wbits negativ ist, wird der standard-gzip-header ist unterdrückt; dies ist eine nicht dokumentierte Funktion der zlib-Bibliothek verwendet, um die Kompatibilität mit entpacken Sie die Datei-Komprimierung-format.
    """

    Erstens, 8 <= log2_window_size <= 15, mit der Bedeutung, die oben gegeben. Was soll dann eine separate arg kludged oben:

    arg == log2_window_size bedeutet, dass davon ausgegangen string ist im zlib-format (RFC 1950; was die HTTP 1.1-RFC 2616 verwirrenderweise nennt, "entlüften").

    arg == -log2_window_size bedeutet, dass davon ausgegangen string ist im deflate-format (RFC 1951; was Menschen, die nicht Lesen Sie die HTTP 1.1-RFC sorgfältig tatsächlich umgesetzt)

    arg == 16 + log_2_window_size bedeutet, dass davon ausgegangen string ist im gzip-format (RFC 1952). Sie können also mit 31.

    Den oben genannten Informationen, die dokumentiert ist in der zlib-C-Bibliothek-Handbuch ... Strg-F-Suche für windowBits.

    InformationsquelleAutor der Antwort John Machin

  3. 9

    Ich so etwas wie, dass:

    f = urllib2.urlopen(request)
data = f.read()
try:
    from cStringIO import StringIO
    from gzip import GzipFile
    data2 = GzipFile('', 'r', 0, StringIO(data)).read()
    data = data2
except:
    #print "decompress error %s" % err
    pass
return data

    InformationsquelleAutor der Antwort Michał Niklas

  4. 4

    für Python ist3

    versuchen, diese

        import gzip

    fetch = opener.open(request) # basically get a response object
    data = gzip.decompress(fetch.read())
    data = str(data,'utf-8')

    InformationsquelleAutor der Antwort Shatu

  5. 1

    Ähnlich Shatu Antwort für Python ist3, aber angeordnet ein wenig anders:

    import gzip

s = Request("https://someplace.com", None, headers)
r = urlopen(s, None, 180).read()
try: r = gzip.decompress(r)
except OSError: pass
result = json_load(r.decode())

    Diese Methode erlaubt es, für die Verpackung der gzip.Dekomprimieren() in einen try/except zu erfassen und übergeben Sie das OSError, dass die Ergebnisse in Situationen, in denen Sie möglicherweise erhalten gemischten komprimierten und unkomprimierten Daten. Einige kleine Zeichenfolgen tatsächlich größer werden, wenn Sie kodiert sind, also die reinen Daten gesendet wird, statt.

    InformationsquelleAutor der Antwort whitebeard

  6. -1

    Können Sie urllib3 leicht zu entschlüsseln gzip.

    urllib3.response.decode_gzip(response.data)

    InformationsquelleAutor der Antwort Druska

Schreibe einen Kommentar