Tag: kafka-consumer-api

Ich bin dabei, eine streaming-Datenbank für die stream-Analyse. Kann jemand mir das Schritt Weise code aktualisieren, den Kafka Nachricht in Datenbank wie mySQL oder Stock verwenden Sie es für die Analyse? Richte ich meine Tierpfleger und Kafka,

Wie lange dauert kafka speichern der offset der Verbraucher nach alle Verbraucher in dieser Gruppe scheitern? Gibt es eine Konfigurations-variable? InformationsquelleAutor masih | 2016-05-02

Ich frisch installiert, Tierpfleger & kafka beiden. Ich begann Sie beide. Dann, wenn ich will, um zu sehen, die Liste der Themen, die mit diesem Befehl: bin/kafka-topics.sh --list --zookeeper localhost 2181 Es gibt mir die socket-Verbindung geschlossen.

wenn ich den folgenden Befehl mit kafka 0.9.0.1 bekomme ich diese Warnungen[1]. Können Sie mir bitte sagen, was ist falsch mit meinen Themen? (Ich spreche auf die kafka-broker, die in ec2) #./kafka-console-consumer.sh --new-consumer --bootstrap-server kafka.xx.com:9092 --topic MY_TOPIC?

Begann ich mit spring-integration-kafka in mein Projekt, und ich kann das produzieren und konsumieren von Nachrichten von Kafka. Aber jetzt, ich wollen, um zu produzieren-Nachricht an bestimmte partition und verbrauchen auch Nachricht von der entsprechenden partition. Beispiel,

9.0-client zu verbrauchen, Nachrichten von zwei Maklern, die auf einem remote-system.Mein Produzent ist in Ordnung, und ist in der Lage, zum senden von Nachrichten an den broker, aber meine Verbraucher ist nicht in der Lage zu konsumieren,

KeyedMessage<String, byte> keyedMessage = new KeyedMessage<String, byte>(request.getRequestTopicName(), SerializationUtils.serialize(message)); producer.send(keyedMessage); Derzeit, ich bin das senden von Nachrichten, ohne den Schlüssel als Teil des keyed-Nachrichten, wird es immer noch funktionieren mit delete.retention.ms? Brauche ich zum senden einer Taste als

Bin ich angefangen zu lernen, Kafka für enterprise-Lösung Zwecken. Während meiner Lesungen, einige Fragen, die mir in den Sinn kam: Wenn ein Hersteller produziert eine Nachricht - es wird angeben, das Thema es will, um die Nachricht

Dokument https://www.safaribooksonline.com/library/view/kafka-the-definitive/9781491936153/ch04.html sagt, dass "Beachten Sie, dass mit auto-commit aktiviert, wird ein Anruf zum poll wird immer Begehen der letzten offset zurückgegeben, die von der vorherigen Umfrage. Sie wissen nicht, welche Ereignisse tatsächlich waren verarbeitet, so ist

Ich bin mit 0.9.0.0-version von Kafka, und ich möchte, um die Anzahl der Nachrichten in einem Thema, ohne mit dem admin-script kafka-console-consumer.sh. Habe ich versucht, alle Befehle in der Antwort Java, Wie man die Anzahl der Nachrichten

Ich untersuche Kafka 9 als ein hobby-Projekt abgeschlossen und ein paar "Hello World" geben Sie Beispiele. Habe ich zu denken über die Reale Welt-Kafka-Anwendungen auf Basis von request-response messaging im Allgemeinen und speziell, wie die Verknüpfung eines

Ich versuche, herauszufinden, welche offsets meine aktuellen High-Level-Verbraucher sind arbeiten aus. Ich benutze Kafka 0.8.2.1, mit keine "versetzt.Speicher" in der server.Eigenschaften des Kafka - die, wie ich denke, bedeutet, dass die offsets gespeichert sind, in Kafka. (Ich

Sind wir mit einem problem konfrontiert, mit Kafka. Wir haben ein Thema mit nur einer partition und nur ein Verbraucher in einer Verbraucher-Gruppe. Der Verbraucher angehalten worden ist, für einen Monat. In der Zwischenzeit, Produzenten senden von

--Verbraucher Properties props = new Properties(); String groupId = "consumer-tutorial-group"; List<String> topics = Arrays.asList("consumer-tutorial"); props.put("bootstrap.servers", "192.168.1.75:9092"); props.put("group.id", groupId); props.put("enable.auto.commit", "true"); props.put("key.deserializer", StringDeserializer.class.getName()); props.put("value.deserializer", StringDeserializer.class.getName()); KafkaConsumer<String, String> consumer = new KafkaConsumer<String, String>(props); try { consumer.subscribe(topics); while (true) {

producer sendet die Nachrichten 1, 2, 3, 4 consumer empfängt die Nachrichten 1, 2, 3, 4 consumer crashes/disconnects producer sendet Nachrichten 5, 6, 7 consumer zurück kommt und den Empfang von Nachrichten ab 5 statt 7 Für

habe ich bereits angefangen zu lernen, Kafka. Versuchen grundlegende Operationen auf. Ich habe hier auf einem Punkt, über den 'Vermittler'. Mein kafka läuft, aber wenn ich möchte, um eine partition zu erstellen. from kafka import TopicPartition (ERROR

wenn ich kafka0.8.x，ich kann alle Gruppen-Prozess mit dem Tierpfleger durch den Pfad /consumers/group_id, da die offsets zu Begehen, zu Tierpflegerin in 0.8.x. Aber in der version 0.10.x-offsets verpflichtet kafka broker wie ein Pfad /brokers/topics/__consumer_offsets und Weg /consumers

Ich bin manuell starten, Tierpfleger, dann Kafka-server und schließlich die Kafka-Rest-server mit Ihren jeweiligen Eigenschaften-Datei. Weiter bin ich der Nutzung meiner Spring-Boot-Anwendung, die auf tomcat In das Tomcat-log trace, erhalte ich den Fehler org.springframework.context.ApplicationContextException: Failed to start

Einer meiner Dienste aufgehört zu arbeiten ein paar Stunden. Ich habe neu gestartet, der server aber dieses Verbraucher-Prozess ist nicht nur die Registrierung bei Kafka. Dies ist, was zeigt sich, wenn der Verbraucher gestartet : 2017-04-21 10:22:54.887

Ich würde gerne einige Antwort vom Makler, wenn ich eine Meldung erzeugen. Ich habe versucht CallBack-Mechanismus (durch implementieren CallBack) verwendet, in KafkaProducer.send aber es hat nicht funktioniert, und nicht, rufen Sie onCompletion Methode. Wenn ich shutdown-Kafka-server und

Ich werde von Anfang an. Ich habe openSuse 13.2 habe ich auch jdk_1.7.0_51, scala-2.11.4-und gradle-2.2.1. Ich heruntergeladen haben Quelle des kafka-0.8.2-Wette-src und führen Sie ./gradlew Befehle so, wie Sie wo geschrieben in der readme-Datei. Alle Befehle wo

wir haben problem mit Kafka. manchmal Plötzlich, ohne Warnung, wir gehen aus der Synchronisation und beginnen, um Ausnahmen, wenn emitting Veranstaltungen. Ausnahme, die wir bekommen java.io.IOException: Too many open files es scheint, dies ist eine Allgemeine Ausnahme,

Habe ich frischen installation von Apache Kafka 0.10.1.0. War ich in der Lage zu senden /empfangen von Nachrichten auf Eingabeaufforderung. Während der Verwendung Producer /Consumer-Java-Beispiel, ich bin nicht in der Lage zu wissen, Gruppe.id parameter auf Verbraucher-Beispiel.

Ich erhalte Ausnahme beim start Kafka Verbraucher. org.apache.kafka.Kunden.Verbraucher.OffsetOutOfRangeException: Offsets aus der Reihe mit keiner der konfigurierten reset-Politik für die Partitionen{test-0=29898318} Ich bin mit Kafka version 9.0.0 mit Java 7. hast du eine Lösung dafür ? InformationsquelleAutor basit

Bekommen wir alle Nachrichten von Kafka by doing: bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning Gibt es einen Weg, um nur die Letzte Nachricht ? EDIT: Wenn Sie wollen einfach nur zum überwachen von Meldungen (--max-messages 10) in