Tag: apache-kafka
Apache Kafka ist eine verteilte streaming-Plattform zum speichern und verarbeiten von high-throughput Daten-streams.
Tierpfleger & Kafka Fehler KeeperErrorCode=NodeExists
2 Antworten
Habe ich geschrieben kafka consumer und producer das funktioniert gut, bis heute. Heute morgen, als ich begann zooekeeper und kafka meine Verbraucher gelingt es nicht, Nachrichten zu Lesen und in Zookeeper log lese ich diesen Fehler INFO
Fehler: Konnte nicht gefunden oder geladen werden Haupt-Klasse config.Tierpfleger.Eigenschaften
3 Antworten
Ich versuche zum ausführen einer sample-producer-consumer-Anwendung unter Verwendung von Apache Kafka. Ich habe es runtergeladen von https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.0.0/kafka-0.10.0.0-src.tgz . Dann begann ich, die folgenden Schritte in http://www.javaworld.com/article/3060078/big-data/big-data-messaging-with-kafka-part-1.html. Wenn ich versuchte zu laufen bin/zookeeper-server-start.sh config/Tierpfleger.Eigenschaften, ich bin immer Fehler:
Anzahl der commits und offset in jeder partition einer kafka-Thema
4 Antworten
Wie findet man die Anzahl von commits und den aktuellen offset in jeder partition ein bekannt kafka Thema. Ich bin mit kafka v0.8.1.1 InformationsquelleAutor der Frage Kartik Singh | 2014-12-16
Kafka Verbraucher die Kennzeichnung der Koordinator 2147483647 tot
6 Antworten
Ich bin mit Kafka Server 0.9 mit consumer-kafka-client in der version 0.9 und kafka-producer-0.8.2. Alles funktioniert Super, außer ich bin immer viel info, dass der Koordinator ist tot auf die Verbraucher 2016-02-25 19:30:45.046 INFO 10263 --- [
Kafka consumer-Liste
4 Antworten
Ich brauche, um herauszufinden, einen Weg zu Fragen, Kafka-für eine Liste von Themen. Ich weiß, ich kann tun, dass die Verwendung der kafka-topics.sh Skript enthalten in den bin\ - Verzeichnis. Einmal habe ich diese Liste, ich brauche
So ändern Sie die Repliken der kafka-Thema?
4 Antworten
Nach einer Kafka-Thema erstellt, indem der Produzent oder der administrator so ändern Sie die Anzahl Replikate von diesem Thema?(erhöhen oder verringern Sie die Replikate der Zahl). InformationsquelleAutor der Frage GuruPo | 2016-06-22
Wie man Themenliste von kafka server in Java
6 Antworten
Ich bin mit kafka 0.8 version und sehr viel neues. Ich möchte wissen, die Liste der erstellten Themen in kafka server zusammen mit es ist die Metadaten. Gibt es eine API zur Verfügung, um herauszufinden, dieses? Grundsätzlich
Fehler beim erstellen des Kafka-Thema :- Replikation-Faktor größer als der verfügbare Broker
3 Antworten
Ich versuche zum erstellen einer kafka-Thema über AdminCommand mit folgenden code Quelle ZkClient zkClient = new ZkClient(kafkaHost, 10000, 10000, ZKStringSerializer$.MODULE$); AdminUtils.createTopic(zkClient, "pa_reliancepoc_telecom_usageevent", 10, 2, new Properties()); Aber immer die unten Ausnahme Exception in thread "main" kafka.admin.AdminOperationException: replication
Was bedeutet "Rebalancing" bedeutet in Apache Kafka-Kontext?
2 Antworten
Ich bin ein neuer Benutzer zu Kafka und wurden erprobt es für etwa 2-3 Wochen. Ich glaube, im moment habe ich ein gutes Verständnis von, wie Kafka arbeitet für die meisten Teil, aber nach dem Versuch, passen
Verbraucher nicht den Empfang von Nachrichten, kafka Konsole, neue Verbraucher-api, Kafka 0.9
11 Antworten
Mache ich das Kafka Quickstart für Kafka 0.9.0.0. Habe ich Tierpfleger hören auf localhost:2181 ran weil ich bin/zookeeper-server-start.sh config/zookeeper.properties Ich habe einen einzigen Makler hören auf localhost:9092 ran weil ich bin/kafka-server-start.sh config/server.properties Habe ich eine producer-Veröffentlichung zum
Was sind Apache Kafka-Thema-Namen-Beschränkungen?
1 Antworten
Ich habe gerade versucht die Schaffung einer Kafka-Thema "user:created" und sah diesen Fehler im Kafka-Protokolle: Invalid character ':' in value part of property. Ich gegoogelt und gefunden, dass in einer Mailingliste Leute reden abwertend . und _
Mit Kafka als (CQRS) Eventstore. Gute Idee?
5 Antworten
Obwohl ich begegnet bin, Kafka vor, ich habe vor kurzem realisiert Kafka kann vielleicht verwendet werden, als (der basis) ein CQRSeventstore. Einer der wichtigsten Punkte, die Kafka unterstützt: Ereignis-Erfassung /Speicherung, alle HA natürlich. Pub /sub-Architektur Fähigkeit zur
Kafka QuickStart, advertised.host.name gibt kafka.common.LeaderNotAvailableException
6 Antworten
Ich bin in der Lage, eine einfache ein-Knoten-Kafka (kafka_2.11-0.8.2.1) arbeiten, die lokal auf einer linux-Maschine, aber wenn ich versuche zu laufen, ein Produzent aus der Ferne bin ich immer einige verwirrende Fehler. Ich bin nach der quickstart-Anleitung
Warum kann es in Apache Kafka nicht mehr Consumer-Instanzen als Partitionen geben?
4 Antworten
Lerne ich über Kafka, Lesen Sie den Abschnitt Einleitung hier https://kafka.apache.org/documentation.html#introduction speziell der Teil über die Verbraucher. In der zweiten bis letzten Absatz in der Einleitung liest es Kafka macht es besser. Indem er einen Begriff von
Datenmodellierung mit Kafka? Themen und Partitionen
4 Antworten
Eines der ersten Dinge, die ich denke, wenn mit einem neuen Dienst (wie eine nicht-RDBMS-datenspeicher oder ein message queue): "Wie soll ich die Struktur meiner Daten?". Habe ich gelesen und habe einige einführende Materialien. Insbesondere, nehmen Sie,
Kafka: Ist Zoowärter ein Muss?
5 Antworten
In Kafka, ich möchte nur eine einzige broker, einziges Thema und eine einzige partition mit einem Erzeuger und mehrere Verbraucher (jeder Verbraucher erhält seine eigene Kopie der Daten, die vom broker). Angesichts dieser, ich will nicht den
Kafka: Holen Sie Broker-Host von ZooKeeper
5 Antworten
Für spezielle Gründe, die ich verwenden müssen, um sowohl - als-auch ConsumerGroup (ein.k.ein. high-level-Verbraucher) und SimpleConsumer (ein.k.ein. low-level-Verbraucher) zum Lesen von Kafka. Für ConsumerGroup ich benutze ZooKeeper-basierten config und bin völlig zufrieden mit ihm, aber SimpleConsumer erfordert
Wie minimiert man die Latenz im Kafka Messaging Framework?
4 Antworten
Szenario: ich habe eine low-volume-Thema (~150msgs/sec), für die wir gerne ein geringe propagation-delay vom Produzenten bis zum Verbraucher. Habe ich ein Zeitstempel von einem Hersteller und es Lesen Verbraucher zum erfassen der ausbreitungsverzögerung, mit Standard-Konfigurationen der msg
Wie schreibe ich eine Datei an Kafka Producer?
4 Antworten
Ich versuche, das laden einer einfachen text-Datei statt von der Standardeingabe in Kafka. Nach dem Download Kafka, habe ich folgende Schritte ausgeführt: Begann Tierpfleger: bin/zookeeper-server-start.sh config/zookeeper.properties Server Gestartet bin/kafka-server-start.sh config/server.properties Erstellt ein Thema mit dem Namen "test":
Beim Verwenden von Kafka 0.8.1 mit Zookeeper 3.4.6 wird die LeaderNotAvailableException ausgelöst
12 Antworten
Installierte ich die stabile version von kafka (0.8.1 mit 2.9.2 Scala) wie pro Ihre website und betreibe es mit 3 Knoten zookeeper ensemble (3.4.6). Ich habe versucht, erstellen Sie eine test-topic, aber sehe immer, dass es keinen
Wie überprüfe ich, ob Kafka Server läuft?
4 Antworten
Möchte ich sicherstellen, ob kafka server ausgeführt wird oder nicht, bevor die Produktion und der Verbrauch von Arbeitsplätzen. Es ist in der windows-Umgebung und hier ist mein kafka server-code in eclipse... Properties kafka = new Properties(); kafka.setProperty("broker.id",
Gibt es einen Grund, RabbitMQ über Kafka zu benutzen?
2 Antworten
Ich wurde gebeten, zu bewerten, RabbitMQ, statt Kafka, fand es aber schwer, einen Grund zu finden, dass es etwas zu tun, besser als Kafka. Wer weiß, wenn es ist wirklich besser im Durchsatz, Haltbarkeit, Latenz oder Benutzerfreundlichkeit?
Kafka oder SNS oder etwas anderes?
2 Antworten
Sorry, wenn es eine newbie-Frage. Aber ich versuche zu verstehen, was sollte ich verwenden. Soweit ich das verstanden habe Kafka : Apache Kafka ist ein verteiltes publish-subscribe-messaging-system. Und SNS ist auch ein pub/sub-system. Mein Ziel ist es,
Ob der Schlüssel beim Senden einer Nachricht in kafka benötigt wird
1 Antworten
KeyedMessage<String, byte> keyedMessage = new KeyedMessage<String, byte>(request.getRequestTopicName(),SerializationUtils.serialize(message)); producer.send(keyedMessage); Derzeit bin ich senden Nachricht ohne Schlüssel beibehalten, als Teil von keyed message , wird es immer noch funktionieren mit löschen.retention.ms ,muss ich die senden-Taste, die als Teil der
Ist es möglich, einem bestehenden Thema in Kafka 0.8.2 Partitionen hinzuzufügen?
2 Antworten
Habe ich eine Kafka-cluster läuft mit 2 Partitionen. Ich war auf der Suche nach einem Weg, um zu vergrößern die partition bis 3 zählen. Aber ich will nicht zu verlieren, die vorhandenen Nachrichten in das Thema. Ich
Bereinige Kafka-Thema
12 Antworten
Schob ich eine Nachricht, die war zu groß, in einem kafka-Nachricht Thema auf meiner lokalen Maschine, jetzt bin ich immer eine Fehlermeldung: kafka.common.InvalidMessageSizeException: invalid message size Erhöhung der fetch.size ist nicht optimal hier, weil ich nicht wirklich
Kafka 0.11 wie Offsets zurückgesetzt werden
1 Antworten
Ich versuche, zurücksetzen, Verbraucher-offset mit neuesten CLI-tools für Kafka. kafka-consumer-groups.bat --bootstrap-server kafka-host:9092 --group my-group --reset-offsets --to-earliest --all-topics Als Ergebnis sehe ich diese Ausgabe: TOPIC PARTITION NEW-OFFSET FirstTopic 0 0 SecondTopic 0 0 Aber wieder läuft-Befehl: kafka-consumer-groups.bat --bootstrap-server
Java, Wie bekomme ich die Anzahl der Nachrichten in einem Thema in Apache Kafka
13 Antworten
Ich bin mit apache kafka für messaging. Ich habe implementiert die Erzeuger und Verbraucher in Java. Wie können wir die Anzahl der Nachrichten in einem Thema? InformationsquelleAutor der Frage Chetan | 2015-02-18
Kafka - Wie versetze man Offset nach jeder Nachricht mit High-Level-Consumer?
2 Antworten
Ich bin mit Kafka ' s high-level-Verbraucher. Denn ich bin mit Kafka als "queue-Transaktionen" für meine Anwendung, die ich brauche zu machen absolut sicher, dass ich nicht verpassen oder wieder Lesen alle Nachrichten. Ich habe 2 Fragen
Kafka-Consumer, die Metadaten für Themen abrufen, ist fehlgeschlagen
4 Antworten
Ich bin versucht, schreiben Sie ein Java-client für eine Dritte Partei Kafka, ZooKeeper-Servern. Ich bin in der Lage, auflisten und beschreiben Themen, aber wenn ich Versuch zu Lesen, eine ClosedChannelException ausgelöst. Ich Schreibe Ihnen hier mit den
Effektive Strategie, um doppelte Nachrichten in Apache Kafka Verbraucher zu vermeiden
3 Antworten
Ich studiere seit apache kafka für einen Monat jetzt. Ich bin klebte allerdings an einem Punkt, jetzt. Mein use-case ist, ich habe zwei oder mehr consumer-Prozesse laufen auf unterschiedlichen Maschinen. Ich lief ein paar tests, in denen
Ist Apache Kafka für die Verwendung als Aufgabenwarteschlange geeignet?
4 Antworten
Kafka teilt eingehende Nachrichten bis in Partitionen, nach der partition zugeordnet, die von den Produzenten. Nachrichten von Partitionen, dann Holen Sie sich verzehrt, indem Sie die Verbraucher in den verschiedenen Verbrauchergruppen. Diese Architektur macht mich vorsichtig bei
Gibt es eine Möglichkeit, alle Daten eines Themas zu löschen oder das Thema vor jedem Lauf zu löschen?
10 Antworten
Gibt es eine Möglichkeit, löschen Sie alle Daten von einem Thema oder das Thema löschen vor jedem Lauf? Kann ich ändern, das KafkaConfig.scala-Datei zu ändern, die logRetentionHours Eigenschaft? Gibt es eine Möglichkeit die Nachrichten, die gelöscht wird,
KafKa-Partitionierungsklasse, weisen Sie der Partition innerhalb des Themas mithilfe des Schlüssels eine Nachricht zu
3 Antworten
Ich bin neu auf kafka, so Entschuldigung, wenn ich blöd klingen aber was ich verstanden so weit ist .. Ein stream der Nachricht definiert werden kann, wie ein Thema, wie eine Kategorie. Und jedes Thema ist unterteilt
Wie lese ich Daten von Anfang an mit der Kafka Consumer API?
6 Antworten
Bitte kann mir jemand sagen, wie das Lesen von Nachrichten, über die Kafka-Verbraucher-API von Anfang an jedes mal, wenn ich den Verbraucher jar. InformationsquelleAutor der Frage Nits | 2015-02-17
Apache Kafka vs Apache Sturm
6 Antworten
Apache Kafka: Verteilte messaging-system Apache Storm: Echtzeit-Message-Verarbeitung Wie wir Sie nutzen können beide Technologien in einem real-time-Daten-pipeline für die Verarbeitung von event-Daten? In Bezug auf die Echtzeit-Daten-pipeline beiden scheint mir die Arbeit machen, die identisch sind. Wie
Wie kann ich von außen auf die JMX-Schnittstelle im Docker zugreifen?
4 Antworten
Ich versuche Remote zu überwachen, eine JVM läuft im Andockfenster. Die Konfiguration sieht so aus: Rechner 1: läuft eine JVM (in meinem Fall Franz kafka) im Andockfenster auf einer ubuntu-Maschine, die IP dieser Maschine ist 10.0.1.201; die
Wie kann ich große Nachrichten mit Kafka (über 15 MB) versenden?
5 Antworten
Ich sende String-Nachrichten zu Kafka V. 0.8 mit der Java-Hersteller-API. Wenn die Größe der Nachricht ist über 15 MB bekomme ich eine MessageSizeTooLargeException. Ich habe es versucht message.max.bytesbis 40 MB, aber ich bekomme immer noch die Ausnahme.
Löschen Sie die Nachricht nach dem Konsum in KAFKA
2 Antworten
Ich bin mit apache kafka zu produzieren und zu konsumieren, eine Datei Größe von 5 GB. Ich möchte wissen, ob es eine Möglichkeit gibt, wo die Nachricht aus dem Thema automatisch entfernt, nachdem es verbraucht wird. Habe
Unterschied zwischen Kafka und ActiveMQ
1 Antworten
Ich habe auf Active MQ für einige Zeit und vertraut mit den Active MQ Architektur. Vor kurzem habe ich gehört, eine Menge über Kafka als ein messaging-system. Welche Vorteile hat es über Active MQ und andere messaging-system?
Welcher Befehl zeigt alle Themen und Offsets von Partitionen in Kafka an?
2 Antworten
Ich bin auf der Suche nach einer Kafka-Befehl zeigt alle Themen und offsets der Partitionen. Wenn es dynamisch wäre perfekt. Bis jetzt bin ich mit Hilfe von java-code, um zu sehen, diese Informationen, aber es ist sehr
Wie bekomme ich Daten vom alten Offsetpunkt in Kafka?
7 Antworten
Bin ich mit dem Tierpfleger, um Daten von kafka. Und hier bekomme ich immer die Daten aus dem letzten offset-Punkt. Gibt es eine Möglichkeit, um den Zeitpunkt anzugeben, der offset zu bekommen, die alten Daten? Gibt es
Wie finde ich die Kafka-Version in Linux?
8 Antworten
Wie findet man die kafka-version unter linux? ob es ist ein Weg, um die installierten kafka andere version als die Erwähnung der version beim Download? InformationsquelleAutor der Frage kumar | 2014-12-22
Warum verbinden sich Kafka-Konsumenten mit Tierpflegern und Produzenten erhalten Metadaten von Brokern?
2 Antworten
Warum ist es, dass die Verbraucher eine Verbindung zu Tierpfleger zum abrufen der partition Standorte? Und kafka-Hersteller haben eine Verbindung zu einem Broker, zum abrufen von Metadaten. Mein Punkt ist, was ist genau der nutzen, der Tierpfleger,
Änderung der Kafka-Aufbewahrungsdauer zur Laufzeit
4 Antworten
Mit Kafka 0.8.1.1, wie ändere ich die log-Vorratsspeicherung Zeit, während es läuft? Die Dokumentation sagt, die Eigenschaft ist log.retention.hoursaber zu ändern versuchen, es mit kafka-topics.sh gibt diesen Fehler $ bin/kafka-topics.sh --zookeeper zk.yoursite.com --alter --topic as-access --config topic.log.retention.hours=24
Wie man von Spark Streaming an Kafka schreibt
6 Antworten
Bin ich mit Spark Streaming zum verarbeiten von Daten zwischen zwei Kafka Warteschlangen, aber ich kann nicht scheinen zu finden ein guter Weg, um zu schreiben, auf Kafka aus Funken. Ich hab das versucht: input.foreachRDD(rdd => rdd.foreachPartition(partition
kafka 8 und Speicher - Es ist nicht genug Speicher vorhanden, damit Java Runtime Environment fortgesetzt werden kann
2 Antworten
Ich bin mit DigiOcean Instanz mit 512 MByte ram, bekomme ich die folgende Fehlermeldung mit kafka. Ich bin kein java beherrschen dev. Wie kann ich einstellen kafka zu nutzen, um die kleine Menge von ram. Dies ist
Leader Nicht verfügbar Kafka in Console Producer
16 Antworten
Ich versuche, mit Kafka. Alle Konfigurationen richtig fertig sind aber wenn ich versuche, zu produzieren, die Nachricht von der Konsole bekomme ich immer folgende Fehlermeldung WARN Error while fetching metadata with correlation id 39 : {4-3-16-topic1=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)
Warum kann ich mich von außen nicht mit Kafka verbinden?
4 Antworten
Ich bin mit kafka auf der ec2-Instanz. So amazon ec2-Instanz hat zwei ips eine interne ip und das zweite ist für den externen Gebrauch. Ich erstellt Produzent vom lokalen Computer, aber es umleiten auf interne ip und
Wann löst der Apache Kafka-Client eine "Batch Expired" -Ausnahme aus?
6 Antworten
Verwendung des Apache Kafka Java-client (0.9), ich bin versucht, senden Sie bitte eine lange Reihe von Datensätze an den broker über das Kafka-Producer-Klasse. Den asynchronen send-Methode kehrt sofort für eine Weile, dann beginnt der Blockierung auf jeden