Tag: kafka-producer-api

Verwenden Sie für Fragen im Zusammenhang mit dem Apache Kafka producer API. Jede Frage in Bezug auf die Herstellung von in-Kafka-Themen. Produzent Fehlern und erholen, idempotenz und Transaktions-API.

Kann einen Kafka-producer Themen erstellen und Partitionen?

Anzahl der Antworten 4 Antworten
derzeit bin ich Bewertung Sie verschiedene Messaging-Systeme. Es ist eine Frage im Zusammenhang mit Apache Kafka die ich nicht beantworten konnte, mich. Ist es möglich, für einen Kafka-producer zum erstellen von Themen und Partitionen (auf vorhandene Themen

org.apache.kafka.common.config.ConfigException: Fehlt die erforderliche Konfiguration “bootstrap.Server", die hat keinen Standardwert

Anzahl der Antworten 2 Antworten
Bin ich immer diese Fehlermeldung beim ausführen von meinem Produzenten Klasse in Eclipse: org.apache.kafka.common.config.ConfigException: Fehlt die erforderliche Konfiguration "bootstrap.Server", die hat keinen Standardwert Hier ist mein producer-Klasse: public class SimpleProducer { public static void main(String args) throws

INFO Geschlossene socket-Verbindung für client /127.0.0.1:48452 hatte sessionid 0x15698f5ac360001 (org.apache.Tierpfleger.server.NIOServerCnxn)

Anzahl der Antworten 1 Antworten
Ich frisch installiert, Tierpfleger & kafka beiden. Ich begann Sie beide. Dann, wenn ich will, um zu sehen, die Liste der Themen, die mit diesem Befehl: bin/kafka-topics.sh --list --zookeeper localhost 2181 Es gibt mir die socket-Verbindung geschlossen.

WARNEN Fehler beim abrufen von Metadaten mit Korrelations-id 1 : {MY_TOPIC?=INVALID_TOPIC_EXCEPTION} (org.apache.kafka.Kunden.NetworkClient)

Anzahl der Antworten 2 Antworten
wenn ich den folgenden Befehl mit kafka 0.9.0.1 bekomme ich diese Warnungen[1]. Können Sie mir bitte sagen, was ist falsch mit meinen Themen? (Ich spreche auf die kafka-broker, die in ec2) #./kafka-console-consumer.sh --new-consumer --bootstrap-server kafka.xx.com:9092 --topic MY_TOPIC?

Kafka 0.10 Java-Client TimeoutException: Batch mit 1 record(s) abgelaufen ist

Anzahl der Antworten 3 Antworten
Habe ich einen einfachen Knoten, multi (3) broker Tierpfleger /Kafka-setup. Ich bin mit dem Kafka 0.10 Java-client. Schrieb ich folgende einfache remote (auf einem anderen Server als Kafka) Produzent (in dem code ersetzt habe ich meine öffentliche

Kann ich das ignorieren org.apache.kafka.common.Fehler.NotLeaderForPartitionExceptions?

Anzahl der Antworten 1 Antworten
Meinem Apache Kafka producer (0.9.0.1) zeitweise wirft einen org.apache.kafka.common.errors.NotLeaderForPartitionException Meinen code ausführt, die die Kafka senden Sie ähnelt dieser final Future<RecordMetadata> futureRecordMetadata = KAFKA_PRODUCER.send(new ProducerRecord<String, String>(kafkaTopic, UUID.randomUUID().toString(), jsonMessage)); try { futureRecordMetadata.get(); } catch (final InterruptedException interruptedException) {

Verständnis Kafka Themen und Partitionen

Anzahl der Antworten 3 Antworten
Bin ich angefangen zu lernen, Kafka für enterprise-Lösung Zwecken. Während meiner Lesungen, einige Fragen, die mir in den Sinn kam: Wenn ein Hersteller produziert eine Nachricht - es wird angeben, das Thema es will, um die Nachricht

Kafka wirft java.nio.- Kanäle.ClosedChannelException

Anzahl der Antworten 3 Antworten
Wenn ich versuche, Sie zu konsumieren Nachrichten aus der kafka-server, die gehostet wird in ec2 mit kafka-console (V 0.9.0.1 , ich denke, das nutzt alte Verbraucher-APIs) Ich bekomme folgende exception. Wie kann ich das umgehen? #./kafka-console-consumer.sh --Tierpfleger

Kafka producer zum Lesen von Daten-Dateien

Anzahl der Antworten 6 Antworten
Ich versuche, laden Sie eine Daten-Datei in der Schleife(to check stats) anstelle der standard-Eingabe bei Kafka. Nach dem Download Kafka, habe ich folgende Schritte ausgeführt: Begann Tierpfleger: bin/zookeeper-server-start.sh config/zookeeper.properties Gestartet Server: bin/kafka-server-start.sh config/server.properties Erstellt ein Thema mit

Themen, Partitionen und Schlüsseln

Anzahl der Antworten 2 Antworten
Ich bin auf der Suche nach Aufklärung über das Thema. In Kafka-Dokumentationen habe ich Folgendes gefunden: Kafka stellt nur eine totale Ordnung über Nachrichten innerhalb einer partition, nicht zwischen verschiedenen Partitionen in ein Thema. Pro-partition Bestellung in

Hat Kafka support-Anfrage-Antwort-messaging

Anzahl der Antworten 4 Antworten
Ich untersuche Kafka 9 als ein hobby-Projekt abgeschlossen und ein paar "Hello World" geben Sie Beispiele. Habe ich zu denken über die Reale Welt-Kafka-Anwendungen auf Basis von request-response messaging im Allgemeinen und speziell, wie die Verknüpfung eines

Fehler in der Veröffentlichen Nachricht zum Thema Kafka

Anzahl der Antworten 6 Antworten
Ich bin neu auf Kafka und versuchen, setup-Umgebung für Sie . Ich versuche zu laufen, die einen einzelnen Knoten Kafka, aber ich bin immer Fehler in diesem. Folgenden folgenden Schritte auf mac 1. brew install zookeeper 2.

Wie kann ich die Größe der Nachrichten in Kafka?

Anzahl der Antworten 2 Antworten
Ich bin derzeit mit Kafka 0.9.0.1. Nach einigen Quellen, die ich gefunden habe, ist der Weg, um die Größe von Nachrichten ist, ändern Sie die folgenden Schlüssel-Werte in server.properties. Nachricht.max.bytes Replik.Holen.max.bytes Holen.Nachricht.max.bytes Meine server.properties Datei hat eigentlich

Kafka Datentypen der Nachrichten

Anzahl der Antworten 2 Antworten
Wunderte ich mich über das, was Arten von Daten, die wir haben könnten, in Kafka-Themen. Wie ich weiß, im application-level-dies ist ein Schlüssel-Wert-Paaren, und dies könnte die Daten geben, die unterstützt wird durch die Sprache. Zum Beispiel

NoBrokersAvailable: NoBrokersAvailable-Kafka-Fehler

Anzahl der Antworten 3 Antworten
habe ich bereits angefangen zu lernen, Kafka. Versuchen grundlegende Operationen auf. Ich habe hier auf einem Punkt, über den 'Vermittler'. Mein kafka läuft, aber wenn ich möchte, um eine partition zu erstellen. from kafka import TopicPartition (ERROR

Kafka Producer - org.apache.kafka.common.Serialisierung.StringSerializer konnte nicht gefunden werden

Anzahl der Antworten 5 Antworten
Habe ich die Schaffung einer einfachen, Kafka Producer & Consumer.Ich bin mit kafka_2.11-0.9.0.0. Hier ist mein Erzeuger-code, public class KafkaProducerTest { public static String topicName = "test-topic-2"; public static void main(String args) { //TODO Auto-generated method stub

how to get Anerkennung von Kafka-broker, wenn die Nachricht erzeugt wird, die durch Produzent?

Anzahl der Antworten 3 Antworten
Ich würde gerne einige Antwort vom Makler, wenn ich eine Meldung erzeugen. Ich habe versucht CallBack-Mechanismus (durch implementieren CallBack) verwendet, in KafkaProducer.send aber es hat nicht funktioniert, und nicht, rufen Sie onCompletion Methode. Wenn ich shutdown-Kafka-server und

Kafka : Wie Verbinde kafka-Konsole-Verbraucher zu Holen remote-broker Thema content?

Anzahl der Antworten 4 Antworten
Ich habe setup eine kafka Tierpfleger und 3 Broker auf einer Maschine, die auf ec2 mit ports 9092..9094 und versuche zu verbrauchen, das Thema von einer anderen Maschine. Die ports 2181 (zk), 9092, 9093 und 9094 (Server)

kafka neuen Produzenten nicht in der Lage, update-Metadaten nach einer der broker ist down

Anzahl der Antworten 2 Antworten
Habe ich eine kafka-Umfeld, hat 2 Broker und 1 Tierpfleger. Während ich versuche, zu produzieren, Nachrichten zu kafka, wenn ich stop broker 1 " (der Führer) der AUFTRAGGEBER stellt die Produktion von messaging-und geben Sie mir die

Kafka Maven-Abhängigkeiten

Anzahl der Antworten 1 Antworten
Was ist der Unterschied zwischen den unter zwei Abhängigkeiten? Brauche ich wirklich die erste, die ein Verbraucher oder Produzent app? <dependencies> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.9.2</artifactId> <version>0.8.2.1</version> </dependency> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.8.2.1</version> </dependency> </dependencies> Mein Produzent funktioniert nur mit

Kafka producer TimeoutException: Auslaufender 1 record(s)

Anzahl der Antworten 2 Antworten
Ich bin mit Kafka mit Spring-boot: Kafka-Producer-Klasse: @Service public class MyKafkaProducer { @Autowired private KafkaTemplate<String, String> kafkaTemplate; private static Logger LOGGER = LoggerFactory.getLogger(NotificationDispatcherSender.class); //Send Message public void sendMessage(String topicName, String message) throws Exception { LOGGER.debug("========topic Name===== "

Kafka JSON Serializer

Anzahl der Antworten 2 Antworten
Ich bin neu auf Kafka, Serialisierung und JSON - Was ich will, ist den Hersteller zu senden, eine JSON-Datei über kafka und die Verbraucher konsumieren und die Arbeit mit dem JSON-Datei in der ursprünglichen Datei-form. War ich

Wie Themen erstellen, die in apache kafka?

Anzahl der Antworten 5 Antworten
Was ist der bestway erstellen Themen bei kafka? Wie viele Replikate/Partitionen definiert werden, wenn wir Themen erstellen? In der neuen producer-API, wenn ich versuche das veröffentlichen einer Nachricht an eine nicht vorhandene Thema , es zum ersten

Kafka mit .Net-Client

Anzahl der Antworten 5 Antworten
Will ich mit kafka auf unserer Produktionsumgebung. Ich möchte wissen, ob die neueste version der client ist bug-frei für Produktion starten. Ist es die Arbeit mit consumer group? Möchte ich weitergeben 10000 Datensätze pro Sekunde, ist es

Konfigurieren der Protokollierung für Kafka Produzenten?

Anzahl der Antworten 4 Antworten
Ich bin mit Kafka producer-client, und ich habe keine log4j-Konfiguration in meinem Projekt. Am laufen, das Programm druckt eine Menge von Kafka Debug-logs, die ich wirklich nicht wollen. So, ich versucht, um einen log4j.Eigenschaften zum set log

Wie schreibe ich eine Datei an Kafka Producer?

Anzahl der Antworten 4 Antworten
Ich versuche, das laden einer einfachen text-Datei statt von der Standardeingabe in Kafka. Nach dem Download Kafka, habe ich folgende Schritte ausgeführt: Begann Tierpfleger: bin/zookeeper-server-start.sh config/zookeeper.properties Server Gestartet bin/kafka-server-start.sh config/server.properties Erstellt ein Thema mit dem Namen "test":

Wie überprüfe ich, ob Kafka Server läuft?

Anzahl der Antworten 4 Antworten
Möchte ich sicherstellen, ob kafka server ausgeführt wird oder nicht, bevor die Produktion und der Verbrauch von Arbeitsplätzen. Es ist in der windows-Umgebung und hier ist mein kafka server-code in eclipse... Properties kafka = new Properties(); kafka.setProperty("broker.id",