Kafka-Nachricht-codec - Komprimierung und Dekomprimierung

Bei der Verwendung kafka, kann ich eine codec-durch die Einstellung der kafka.die Komprimierung.codec-Eigenschaft meiner kafka-Produzent.

Angenommen, ich benutze snappy compression in meinem Produzenten, beim Verzehr der Nachrichten von kafka mit einigen kafka-Verbraucher, sollte ich etwas tun, um die Daten decodieren von snappy oder ist es eine integrierte Funktion von kafka Verbraucher?

In der relevanten Dokumentation konnte ich nicht finden, eine Eigenschaft, die sich auf die Codierung in kafka Verbraucher (es bezieht sich nur auf die Hersteller).

Kann jemand klar diese?

InformationsquelleAutor forhas | 2013-11-10
  1. 12

    Gemäß meinem Verständnis geht die de-Kompression wird betreut durch den Verbraucher selbst. Wie bereits in den offiziellen wiki-Seite
    The consumer iterator transparently decompresses compressed data and only returns an uncompressed message

    Wie in diese Artikel die Art und Weise Verbraucher arbeitet, ist wie folgt

    Den Verbraucher hat hintergrund "fetcher" threads, die kontinuierlich abrufen von Daten in Chargen von 1 MB von den Brokern und fügen Sie es in eine interne Warteschlange blockieren. Der consumer-thread aus der Warteschlange entfernt Daten aus dieser Warteschlange blockiert, dekomprimiert und durchläuft die Nachrichten

    Und auch im doc-Seite unter Ende-zu-Ende-Batch-Kompression Ihr geschrieben, dass

    Einen Stapel von Nachrichten kann verklumpten werden komprimiert und an den server gesendet, der in dieser form. Diesen Stapel von Nachrichten, die geschrieben werden in komprimierter form und bleibt komprimiert und im log wird nur dekomprimiert werden durch die Verbraucher.

    So scheint es, dass die dekomprimierungs-Teil verarbeitet wird, in der Verbraucher es selbst alles, was Sie tun müssen, ist geben Sie die gültigen /unterstützte komprimierungsart verwenden die compression.codec ProducerConfig Attribut beim erstellen der producer. Ich konnte nicht finden, dass irgendwelche Beispiel oder Erklärung, wo es sagt, jeder Ansatz für die Dekompression in der consumer-Ende. Bitte korrigieren Sie mich, wenn ich falsch bin.

    InformationsquelleAutor user2720864
  2. 0

    Ich habe das gleiche Problem mit v0.8.1-und diese Kompression decomression bei Kafka ist schlecht dokumentiert, andere als zu sagen, die Verbraucher sollten "transparent" und dekomprimiert die komprimierten Daten, die er Tat es NIE.

    Beispiel high-level-Verbraucher-client über ConsumerIterator in-Kafka-Website funktioniert nur mit unkomprimierten Daten. Sobald ich die Komprimierung aktivieren in Erzeuger-client, wird die Nachricht nie in die folgende "while" - Schleife. Hoffentlich sollte dieses Problem lösen so bald wie möglich oder Sie sollten nicht behaupten, dass dieses feature, da einige Benutzer möglicherweise verwenden Kafka zum transport großer Größe der Nachricht muss Dosierungs-und Komprimierungsfunktionen.

    ConsumerIterator <byte[], byte[]> it = stream.iterator();
while(it.hasNext())
{
   String message = new String(it.next().message());
}
    InformationsquelleAutor Jay
  3. 0

    Habe ich kleine Zweifel in Bezug auf die Dekompression auf kafka consumer-Seite, wenn die kafka-producer sendet eine komprimierte stream(entweder mit GZIP oder BISSIG). Es klingt wie kafka Verbraucher transparent habe Dekompression komprimierter stream auf der consumer-Seite. Bitte korrigieren Sie mich, auf das Wetter bin ich nicht sicher hier.

    Oder ist es dekomprimiert Beispiel bei kafka-consumer-Seite, wenn meine oben genannten Absprachen falsch sind?

    InformationsquelleAutor rakeeee
Schreibe einen Kommentar