Unterschied zwischen stream-Verarbeitung und die message-Verarbeitung

Was ist der grundlegende Unterschied zwischen stream-Verarbeitung und traditioneller message-Verarbeitung? Wie die Leute sagen, dass kafka ist eine gute Wahl für die stream-Verarbeitung, sondern im wesentlichen kafka ist ein messaging-framework, ähnlich ActivMQ, RabbitMQ etc.

Warum tun wir im Allgemeinen nicht sagen, dass ActiveMQ ist gut für die stream-Verarbeitung als gut.

Ist es die Geschwindigkeit, mit der Nachrichten konsumiert werden, durch die Verbraucher bestimmt, ob es einen stream???

Ich denke, vielleicht finden Sie quora.com/... interessant

InformationsquelleAutor TechEnthusiast | 2017-01-19

  1. 39

    In der traditionellen Verarbeitung der message, die Sie anwenden, einfache Berechnungen auf den Nachrichten-in den meisten Fällen individuell pro Nachricht.

    In der stream-Verarbeitung, die Sie anwenden, komplexe Operationen auf mehrere input-streams und mehrere Datensätze (ie, Nachrichten) in der gleichen Zeit (wie Aggregationen und joins).

    Darüber hinaus traditionelle messaging-system kann nicht "back in time" -- sprich, die automatisch Nachrichten löschen, nachdem Sie bekam geliefert, um alle abonnierten Konsumenten. Im Gegensatz dazu, Kafka hält der Nachrichten verwendet es einen pull-basierten Modell (dh, der Verbraucher ziehen die Daten aus Kafka) für eine konfigurierbare Menge an Zeit. Dies ermöglicht es den Verbrauchern, "rewind" und konsumieren Nachrichten, mehrfach-oder wenn Sie hinzufügen eine neue Verbraucher, Sie können Lesen Sie die vollständige Geschichte. Dies macht die stream-Verarbeitung möglich, weil es erlaubt für komplexere Anwendungen. Außerdem, stream processing nicht unbedingt über real-time-Verarbeitung-es geht um die Verarbeitung unendlich-input-stream (im Gegensatz zu batch-Verarbeitung, die angewendet wird, um finite-Eingänge).

    Und Kafka bietet Kafka Verbinden und Streams-API-also, es ist ein stream-processing-Plattform und nicht nur ein messaging - /pub-sub-system (auch wenn es verwendet diese im Kern).

    Auch der Eingabe-stream kann unendlich sein, aber die Verarbeitung ist mehr wie ein gleitendes Fenster von finite-Eingang. In diesem Sinne gibt es nicht wirklich einen Unterschied zwischen stream-und batch-Verarbeitung. Batch-Verarbeitung ist nur ein spezieller Fall von stream-Verarbeitung, wo die Fenster sind stark definiert.

    InformationsquelleAutor Matthias J. Sax

  2. 5

    Grundsätzlich Kafka-messaging-framework, ähnlich ActiveMQ oder RabbitMQ. Es sind einige Anstrengungen auf sich zu nehmen Kafka in Richtung streaming wird von Konfluent.

    https://www.confluent.io/blog/introducing-kafka-streams-stream-processing-made-simple/

    Dann, warum Kafka kommt ins Bild, wenn man über Stream processing?

    Stream processing framework unterscheidet sich mit der Eingabe von Daten.In der Batch-Verarbeitung,Sie haben einige Dateien, die im Datei-system, und Sie wollen ständig verarbeiten und speichern bei einigen Datenbank. Während in-stream-processing-frameworks wie Spark, Storm, etc, erhalten Sie kontinuierliche Eingabe von einigen sensor-Geräte, api-Feeds und kafka benutzt es zum füttern der streaming-engine.

    Apache Kafka beschreibt sich selbst als eine "verteilte streaming-Plattform", siehe kafka.apache.org. Zurück im Jahr 2012 begann es, grob gesprochen, als ein messaging-system, aber heutzutage ist es viel mehr als das. Kafka besonders Schiffe mit seinen eigenen stream-processing-engine, genannt Kafkas Streams-API (oder Kafka-Streams in kurz). Sie sind nicht mehr erforderlich, um einen separaten stream processing-Technologie wie Storm oder Spark, und noch ein paar ehemalige Nutzer von Spark/Storm/... haben damit begonnen, die Migration zu Kafkas Streams-API zu vereinfachen und zu verbessern Ihre Daten-Architekturen.

    InformationsquelleAutor Paresh

Schreibe einen Kommentar