Verbindung zum Tierpfleger in einem Apache Kafka Multi-Node-cluster
Habe ich die folgenden Anweisungen, um eine multi-Knoten-kafka-cluster.
Nun, wie verbindet man die Tierpfleger ? Ist es in Ordnung, eine Verbindung zu nur einem Tierpfleger aus dem Producer/consumer-Seite in JAVA, oder gibt es eine Möglichkeit, schließen Sie die zookeeper-Knoten ?
Einstellung einer multi-Knoten-Apache-ZooKeeper-cluster
Auf jedem Knoten des Clusters fügen Sie die folgenden Zeilen in die Datei kafka/config/Tierpfleger.Eigenschaften
server.1=zNode01:2888:3888
server.2=zNode02:2888:3888
server.3=zNode03:2888:3888
#add here more servers if you want
initLimit=5
syncLimit=2
Auf jedem Knoten des Clusters erstellen Sie eine Datei namens "myid" in den Ordner, vertreten durch den dataDir-Eigenschaft (standardmäßig der Ordner /tmp/Tierpfleger ). Der myid-Datei sollte nur enthält die id des znode ('1' für zNode01, '2' für ZNode02, etc... )
Einstellung eines multi-broker-Apache Kafka cluster
Auf jedem Knoten des Clusters ändern, ändern Sie die Eigenschaft Tierpfleger.schließen Sie aus der Datei kafka/config/server.Eigenschaften:
zookeeper.connect=zNode01:2181,zNode02:2181,zNode03:2181
Auf jedem Knoten des Clusters ändern Sie die Eigenschaft host.Namen aus der Datei kafka/config/server.Eigenschaften:
host.name=zNode0x
Auf jedem Knoten des Clusters ändern Sie die Eigenschaft broker.id aus der Datei kafka/config/server.Eigenschaften (jeder broker im cluster sollte eine eindeutige id)
Du musst angemeldet sein, um einen Kommentar abzugeben.
Können Sie pass alle Knoten, die in der Produzent oder konsument. Kafka ist intelligent genug, dass es eine Verbindung zu dem Knoten, der die Daten, die Sie benötigt, basierend auf der Replikation Faktor oder die partition
Hier ist der consumer-code :
Finden Sie mehr info hier
Hinweis: Problem mit diesem Ansatz weiter ist, es wird von mehreren geöffneten Verbindung, um herauszufinden, welcher Knoten hält die Daten. Für mehr robuste und skalierbare Systeme pflegen Sie die Karte von partitions-Nummer und den Knotennamen , Hilfe in diesem laden balencing auch.
Hier ist der Produzent Probe
mehr info hier
Nicht übergeben zu müssen, Tierpflegerin, die Eigenschaften der Verbindung in die Kafka-clients (Produzent & Consumer).
Vom Kafka-v9 und höher, Kafka Erzeuger und Verbraucher kommuniziert nicht mit dem Tierpfleger.
kafka-clients
Bibliothek.kafka-clients
jar. Entfernen Sie alle anderen Gläser / Abhängigkeiten von Ihrem Projekt. Und dann erneut testen.