Komprimieren request-body mit python-requests?

(Diese Frage ist nicht über die transparente Dekompression gzip-codiert Antworten von einem web-server; ich weiß, dass requests Griffe, die automatisch.)

Problem

Ich versuche zu POSTEN eine Datei in einen RESTful web service. Offensichtlich requests macht dies ziemlich einfach zu tun:

files = dict(data=(fn, file))
response = session.post(endpoint_url, files=files)

In diesem Fall, meine Datei ist in einem wirklich hoch komprimierbaren format (yep, XML), so würde ich mag, um sicherzustellen, dass die Anfrage Körper komprimiert wird.

Server Forderungen zu akzeptieren, gzip-Codierung (Accept-Encoding: gzip im Antwort-Header), so dass ich in der Lage sein sollten, um gzip-der ganze Körper-request-body, richtig?

Versuchte Lösung

Hier ist mein Versuch, diese Arbeit zu machen: ich habe zunächst konstruieren Sie die Anfrage aus und bereiten Sie es, dann gehe ich in die PreparedRequest Objekt, reißen sich die body, führen Sie es durch gzip, und setzen Sie Sie zurück. (Oh, und vergessen Sie nicht, aktualisieren Sie die Content-Length und Content-Encoding Header.)

files = dict(data=(fn, file))
request = request.Request('POST',endpoint_url, files=files)

prepped = session.prepare_request(request)
with NamedTemporaryFile(delete=True) as gzfile:
    gzip.GzipFile(fileobj=gzfile, mode="wb").write(prepped.body)
    prepped.headers['Content-Length'] = gzfile.tell()
    prepped.headers['Content-Encoding'] = 'gzip'
    gzfile.seek(0,0)
    prepped.body = gzfile.read()
    response = session.send(prepped)

Leider ist der server nicht zusammen und zurück 500 Internal Server Error. Vielleicht ist es nicht wirklich akzeptieren gzip-codierten Anforderungen?

Oder gibt es vielleicht einen Fehler in meinem Ansatz? Es scheint ziemlich verworren. Gibt es ein einfacher Weg, dies zu tun-request-body Kompression mit python-requests?

EDIT: Fixiert (3) und (5) von @sigmavirus24 s Antwort (diese waren im Grunde nur Artefakte habe ich übersehen, bei der Vereinfachung der code, es hier zu posten).

Anfrage Dekompression ist eher schlecht unterstützt von Webservern und aus Gründen der Sicherheit deaktiviert (vulnerability to gzip-Bomben). Für apache, die Sie brauchen, um es zu aktivieren mit mod_deflate. Sind Sie sicher, dass der server wirklich unterstützt? Accept-Encoding ist in der Regel nicht vom server gesendet, sondern der client.
Ich bin nicht wirklich sicher, dass der server unterstützt gzip ' ed Anfragen, keine. Es scheint widersprüchlich in seiner Werbung für diese Funktion. Das macht es viel härter, um herauszufinden, ob in dem versenden ist es eine vernünftige Anfrage...

InformationsquelleAutor Dan Lenski | 2015-02-22

6

Oder gibt es vielleicht einen Fehler in meinem Ansatz?

Ich bin mir nicht sicher, wie Sie angekommen in Ihrem Ansatz, ehrlich gesagt, aber es ist sicherlich ein einfacher Weg, dies zu tun.

Erste, ein paar Dinge:
1. Die files parameter erstellt eine multipart/form-data Körper. Sie sind also etwas komprimieren, dass der server möglicherweise keine Ahnung.
2. Content-Encoding und Transfer-Encoding sind zwei sehr verschiedene Dinge. Sie möchten Transfer-Encoding hier.
3. Sie nicht benötigen, um ein suffix auf Ihrem NamedTemporaryFile.
4. Da Sie nicht explizit erwähnen, dass du versuchst zu komprimieren multipart/form-data Anfrage, gehe ich davon aus, dass Sie nicht wirklich wollen, das zu tun.
5. Ihren Anruf session.Request (was ich davon ausgehen sollte, requests.Request) fehlt eine Methode, d.h., es sollte sein: requests.Request('POST', endpoint_url, ...)
Mit jenen aus dem Weg, hier ist, wie würde ich dies tun:
```
# Assuming `file` is a file-like obj
with NamedTemporaryFile(delete=True) as gzfile:
    gzip.GzipFile(fileobj=gzfile, mode="wb").write(file.read())
    headers = {'Content-Length': gzfile.tell(),
               'Transfer-Encoding': 'gzip'}
    gzfile.seek(0, 0)
    response = session.post(endpoint_url, data=gzfile, 
                            headers=headers)
```
Unter der Annahme, dass file hat die xml Inhalt in es und alles, was Sie bedeutete, war zu komprimieren, sollte dies für Sie arbeiten. Sie wahrscheinlich wollen eine Content-Type Kopf-obwohl, zum Beispiel, würden Sie nur tun,
```
 headers = {'Content-Length': gzfile.tell(),
            'Content-Type': 'application/xml',  # or 'text/xml'
            'Transfer-Encoding': 'gzip'}
```
Den Transfer-Encoding sagt dem server, dass die Anfrage wird komprimiert, nur im transit und sollte es Dekomprimieren Sie es. Die Content-Type sagt dem server, wie behandeln die Inhalte einmal die Transfer-Encoding behandelt wurde.
- Vielen Dank für die Antwort! Ich fixe #3 und #5, die waren nur Artefakte von meinem Versuch auf eine Vereinfachung des Codes, um es zu veröffentlichen. Für #1 und #4, ich bin mir bewusst, dass ich bin Entsendung ein multipart/form-data Körper: der Dienst benötigt, um zu akzeptieren, die Datei in unkomprimierter form. Du hast Recht, ich bin definitiv verwirrt über die Semantik von Content-Encoding im Gegensatz zu Transfer-Encoding. Hier ist eine klarere Gespräche, die ich gefunden habe... eine bessere Erklärung gibt?
- Ich war nicht besorgt über die Tatsache, dass der Körper eine multipart/form-data weil ich dachte, dass die Wirkung von Content-Encoding: gzip wäre zu sagen, die server transparent gunzip gesamte request-body vor der Behandlung ist es in keiner Weise. Scheint so, das ist eine fehlerhafte Annahme?
- Ja, Ihre ursprüngliche code wird meist dann arbeiten, aber Sie wollen, legen Sie die Transfer-Encoding. Alternativ, wenn Sie nicht wollen, zu entführen die Anfrage Vorbereitung-Teil von Anfragen, können Sie das Anfragen-toolbelt zu generieren, die den Körper und die entsprechenden Header und dann die gzip-es mit der richtigen Transfer-Encoding.
- Ich glaube nicht, dass T-E Los ist, hier zu helfen; es hat auch weniger Unterstützung als Content-Encoding-Anfragen (und es auch nicht in HTTP/2).
InformationsquelleAutor Ian Stapleton Cordasco

Hatte ich eine Frage, die markiert war, als ein exaktes Duplikat. Ich war concernd mit beiden enden der Transaktion.

Den code aus sigmavirus24 war nicht eine direkte Ausschneiden und einfügen-fix, aber es war die inspiration für diese version.

Hier ist, wie meine Lösung endete auf der Suche:

senden von der python-Ende

import json
import requests
import StringIO
import gzip

url = "http://localhost:3000"
headers = {"Content-Type":"application/octet-stream"}
data = [{"key": 1,"otherKey": "2"},
        {"key": 3,"otherKey": "4"}]

payload = json.dumps(data)

out = StringIO.StringIO()
with gzip.GzipFile(fileobj=out, mode="w") as f:
  f.write(json.dumps(data))
out.getvalue()

r = requests.post(url+"/zipped", data=out.getvalue(), headers=headers)

, die am äußern Ende

var zlib = require("zlib");
var rawParser = bodyParser.raw({type: '*/*'});

app.post('/zipped', rawParser, function(req, res) {

    zlib.gunzip(req.body, function(err, buf) {
        if(err){
            console.log("err:", err );
        } else{
            console.log("in the inflate callback:",
                        buf,
                        "to string:", buf.toString("utf8") );
        }
    });

    res.status(200).send("I'm in ur zipped route");
});

Gibt es eine gist hier mit Ausführlicher Protokollierung enthalten. Diese version hat keine Sicherheit oder Kontrolle in.

InformationsquelleAutor Ben

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.