Tag: apache-kafka

Ich bin derzeit mit Kafka 0.9.0.1. Nach einigen Quellen, die ich gefunden habe, ist der Weg, um die Größe von Nachrichten ist, ändern Sie die folgenden Schlüssel-Werte in server.properties. Nachricht.max.bytes Replik.Holen.max.bytes Holen.Nachricht.max.bytes Meine server.properties Datei hat eigentlich

Ich versuche zu installieren Kafka message-queue unter Windows für die Prüfung Zwecke (nicht für die Produktion). Fand ich diesen Artikel auf, wie zu installieren, Apache Kafka 0,8 auf Windows: http://janschulte.wordpress.com/2013/10/13/apache-kafka-0-8-on-windows/ Es ist ein guter Artikel, aber es

Werden wir bereitstellen von Apache Kafka 2.10 auf unser Projekt und die Kommunikation über JSON-Objekte, die sich zwischen Erzeuger und Verbraucher. So weit ich wohl müssen: Implementieren Sie eine benutzerdefinierte serializer zum konvertieren von JSON in eine

Ich in ein Problem mit apache Kafka, dass ich nicht verstehe . Ich abonniere ein Thema in meiner Makler-genannt "Thema-" empfangen . Dies ist der code : protected String readResponse(final String idMessage) { if (props != null)

Ich bin nicht in der Lage zu laufen ein Apache Kafka service aufgrund eines Fehlers beim starten eine Zookeeper-Instanz. Ich habe heruntergeladen und versucht, es mit allen 3 verfügbaren downloads auf der offiziellen Seite. (binarys und Quelle),

Ich habe ein einfaches JSON-Objekt wie im folgenden d = { 'tag ': 'blah', 'name' : 'sam', 'score': {'row1': 100, 'row2': 200 } } Folgende ist mein python-code, der das senden von Nachrichten an Kafka from kafka

Ich Baue Nachrichten mit folgenden code... Producer<String, String> producer = new kafka.javaapi.producer.Producer<String, String>(producerConfig); KeyedMessage<String, String> keyedMsg = new KeyedMessage<String, String>(topic, "device-420", "{message:'hello world'}"); producer.send(keyedMsg); Und Konsum mit dem folgenden code-block... //Key = topic name, Value = No.

habe ich bereits angefangen zu lernen, Kafka. Versuchen grundlegende Operationen auf. Ich habe hier auf einem Punkt, über den 'Vermittler'. Mein kafka läuft, aber wenn ich möchte, um eine partition zu erstellen. from kafka import TopicPartition (ERROR

Immer Fehler beim senden der Nachricht an kafka Thema in kerberosed Umwelt. Wir haben cluster auf hdp 2.3 Ich folgte diesem http://henning.kropponline.de/2016/02/21/secure-kafka-java-producer-with-kerberos/ Aber für das senden von Nachrichten, ich habe zu tun kinit explizit zuerst, dann erst

Habe ich zwei broker kafka 0.10.2.0 cluster.Replikations-Faktor ist 2. Ich bin mit 1.0.0 kafka-stream-Anwendung gegen diese Kafka. In meinem kafka-stream-Anwendung, Produzent config hat retries = 10 and retry.backoff.ms = 100 Läuft nach paar Minuten, die ich beobachtet

Ich bin manuell starten, Tierpfleger, dann Kafka-server und schließlich die Kafka-Rest-server mit Ihren jeweiligen Eigenschaften-Datei. Weiter bin ich der Nutzung meiner Spring-Boot-Anwendung, die auf tomcat In das Tomcat-log trace, erhalte ich den Fehler org.springframework.context.ApplicationContextException: Failed to start

Wollte ich verstehen, dass einige der realen Fälle, in denen mithilfe von Apache Kafka als message-broker am besten geeignet ist. Angesichts Kafka-Themen kann nicht halten Sie die Nachrichten auf unbestimmte Zeit. Bitte klären Sie die Bedürfnisse in

Habe ich auf einem ubuntu-Knoten von einem cluster ein kafka 0.11.0.0 Instanz. Bis vor einigen Wochen funktionierte alles gut, heute bin ich versucht zu starten und bekomme diese Fehlermeldung nach dem Booten: [2017-09-11 16:21:13,894] INFO [Kafka Server

Ich weiß, das wurde vor der Frage, so bitte vergib mir für das Fragen wieder, aber keine der Lösungen gezeigt, durch diesen thread für mich gearbeitet. Ich versuche, setup-Kafka 0.10.20 folgenden die docs. Wenn ich beginne, Tierpfleger,

Nach dem Start Kafka Verbinden (connect-standalone), meine Aufgabe nicht sofort nach dem Start mit: java.lang.OutOfMemoryError: Java heap space at java.nio.HeapByteBuffer.<init>(HeapByteBuffer.java:57) at java.nio.ByteBuffer.allocate(ByteBuffer.java:335) at org.apache.kafka.common.network.NetworkReceive.readFromReadableChannel(NetworkReceive.java:93) at org.apache.kafka.common.network.NetworkReceive.readFrom(NetworkReceive.java:71) at org.apache.kafka.common.network.KafkaChannel.receive(KafkaChannel.java:154) at org.apache.kafka.common.network.KafkaChannel.read(KafkaChannel.java:135) at org.apache.kafka.common.network.Selector.pollSelectionKeys(Selector.java:343) at org.apache.kafka.common.network.Selector.poll(Selector.java:291) at org.apache.kafka.clients.NetworkClient.poll(NetworkClient.java:260) at

Ich installiert Kafka auf einem remote-server, und wenn ich versuchte zu laufen ~/kafka/bin/zookeeper-server-start.sh ~/kafka/config/zookeeper.properties Und ich erhielt eine Fehlermeldung, die Unrecognized VM option 'PrintGCDateStamps' Und die kafka-server konnte nicht gestartet werden. Dies war nicht in einer vm

Ich bin der Gestaltung einer neuen Architektur, big data, wo mein client hat als IBM MQ broker , ich weiß, dass wir für die Arbeit mit Kafka in big-data-Architekturen , Weil ich nehme an das ist schneller

Einer meiner Dienste aufgehört zu arbeiten ein paar Stunden. Ich habe neu gestartet, der server aber dieses Verbraucher-Prozess ist nicht nur die Registrierung bei Kafka. Dies ist, was zeigt sich, wenn der Verbraucher gestartet : 2017-04-21 10:22:54.887

Kafka ist verwirrend mich. Bei mir läuft es lokal mit standard-Werten. nur auto-Thema erstellen aktiviert. 1 partition, 1 Knoten, alles lokal und einfach. Wenn Sie schreiben consumer.subscribe("test_topic"); consumer.poll(10); Es funktioniert einfach nicht und nie findet keine Daten.

Ich bin versuchen zu replizieren, die SASL_PLAIN oder SASL_SSL-Authentifizierung beschrieben: http://docs.confluent.io/3.0.0/kafka/sasl.html#sasl-configuration-for-kafka-brokers In der config/server.Eigenschaften, habe ich noch folgende 4 Zeilen: listeners=SASL_SSL://localhost:9092 security.inter.broker.protocol=SASL_SSL sasl.mechanism.inter.broker.protocol=PLAIN sasl.enabled.mechanisms=PLAIN In config/Produzent.Eigenschaften, habe ich noch die folgenden zwei Zeilen: security.protocol=SASL_SSL sasl.mechanism=PLAIN Dann habe

Wenn ich starten kafka, es schlägt schnell fehl, während beschwert, dass es keine Verbindung zum Tierpfleger. Ich bin mit Tierpfleger als ein eigenständiges cluster/ensemble. Ich bin verwirrt, weil es keine Firewall zwischen den Servern (wie bewiesen durch

Bin ich sehr viel neues Kafka und wir sind mit Kafka 0.8.1. Was ich tun müssen, ist zu konsumieren, eine Nachricht von Thema. Für, die, ich Schreibe ein Verbraucher in Java, die verbrauchen eine Meldung von Thema

gibt es eine Möglichkeit, ich kann anzeigen den Inhalt der Nachricht gesendet zu kafka für ein bestimmtes Thema? Sagen, eine Sache wie zeigen Sie die letzten 5 Nachrichten für dieses Thema, wenn es möglich ist. Dank, Sandeep

Mein kafka version ist kafka_2.9.2-0.8.1.1. Ich habe zwei Broker im cluster 4 Themen und jedes Thema hat 4 Partitionen. Wenn ich sh kafka-topics.sh --describe --zookeeper rhost:2181 für alle Themen/Partitionen, ich sehe broker 1 als Leader. Wie kann

Beim schreiben einer Spark-Streaming-job, der verbraucht Nachrichten von Kafka. Hier ist, was ich habe, so weit: 1) Gestartet Tierpfleger. 2) Begann Kafka-Server. 3) Schickte ein paar Nachrichten an den server. Ich kann Sie sehen, wenn ich führen