Tag: apache-kafka

Apache Kafka ist eine verteilte streaming-Plattform zum speichern und verarbeiten von high-throughput Daten-streams.

Kafka-Fehler: Konnte nicht gefunden oder geladen werden Hauptklasse org.apache.kafka.Kunden.tools.ProducerPerformance

Anzahl der Antworten 2 Antworten
Ich habe versucht, führen Sie Performance-test nach der folgenden Artikel für Apache Kafka Referenz: https://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-three-cheap-machines Verlinkten tests: https://gist.github.com/jkreps/c7ddb4041ef62a900e6c Aber wenn ich dies ausführen: bin/kafka-run-class.sh org.apache.kafka.clients.tools.ProducerPerformance test7 50000000 100 -1 acks=1 bootstrap.servers=localhost:9092 buffer.memory=67108864 batch.size=8196 Es zeigt den Fehler:

Kafka Fehler im I/O java.io.EOFException: null

Anzahl der Antworten 2 Antworten
Ich bin mit Kafka 0.8.2.0 (Scala 2.10). In meinen Logfiles sehe ich die folgende Meldung zeitweise. Dies scheint ein Problem, aber ich bin sowohl in meinem localhost. Ist das eine Harmlose Fehlermeldung oder sollte ich etwas tun,

Nicht in der Lage, importieren Sie die spark-Pakete

Anzahl der Antworten 1 Antworten
Ich versuche, änderungen an der sample-Java-Code zur Verfügung gestellt von Spark JavaKafkaWordCount.java und versuchen, es zu bauen mit Maven. Ich arbeite an der Funke standalone-Modul. Ich bin mit folgenden pom.xml: <project> <groupId>com.mycompany.app</groupId> <artifactId>my-app</artifactId> <modelVersion>4.0.0</modelVersion> <name>Simple Project</name> <packaging>jar</packaging>

so laden Sie eine Kafka-Thema zu HDFS?

Anzahl der Antworten 2 Antworten
Ich bin mit hortonworks sandbox. erstellen Thema: ./kafka-topics.sh --create --zookeeper 10.25.3.207:2181 --replication-factor 1 --partitions 1 --topic lognew tailing der apache-access-log-Verzeichnis: tail -f /var/log/httpd/access_log |./kafka-console-producer.sh --broker-list 10.25.3.207:6667 --topic lognew An ein anderes terminal (Franz kafka-bin), start consumer -:

How to get Anerkennung von Kafka

Anzahl der Antworten 2 Antworten
Wie ich genau Holen Sie sich die Bestätigung von Kafka, sobald die Nachricht ist verbraucht oder verarbeitet werden. Klingt vielleicht blöd, aber gibt es eine Möglichkeit zu wissen, die start-und end-offset der Meldung, für die das ack

Kann einen Kafka-producer Themen erstellen und Partitionen?

Anzahl der Antworten 4 Antworten
derzeit bin ich Bewertung Sie verschiedene Messaging-Systeme. Es ist eine Frage im Zusammenhang mit Apache Kafka die ich nicht beantworten konnte, mich. Ist es möglich, für einen Kafka-producer zum erstellen von Themen und Partitionen (auf vorhandene Themen

Warum tun .index-Dateien sind in der kafka-log-Verzeichnis?

Anzahl der Antworten 2 Antworten
Ich habe gerade ein neues Thema, und noch nicht produziert jede Nachricht noch. Eine Datei namens in 00000000000000000000.index wurde in dem Verzeichnis erstellt /tmp/kafka-logs-1/topicname-0/, und die Größe der Datei ist wirklich groß. Ich öffnete die binary-Datei in

CommitFailedException: Commit kann nicht abgeschlossen werden, aufgrund der Gruppe auszugleichen

Anzahl der Antworten 1 Antworten
Ich bin mit kafka 0.9.0.1 broker und 0.9.0.1 consumer client. Meine consumer-Instanzen verbrauchen Datensätze mit einer Bearbeitungszeit von weniger als 1 Sekunde. Und anderen wichtigen configs sind enable.auto.commit=false session.timeout.ms=30000 heartbeat.interval.ms=25000 Ich mich verpflichtet offset nach der Verarbeitung.

Kafka-Nachricht-codec - Komprimierung und Dekomprimierung

Anzahl der Antworten 3 Antworten
Bei der Verwendung kafka, kann ich eine codec-durch die Einstellung der kafka.die Komprimierung.codec-Eigenschaft meiner kafka-Produzent. Angenommen, ich benutze snappy compression in meinem Produzenten, beim Verzehr der Nachrichten von kafka mit einigen kafka-Verbraucher, sollte ich etwas tun, um

Kafka consumer group offset-retention

Anzahl der Antworten 3 Antworten
Wie lange dauert kafka speichern der offset der Verbraucher nach alle Verbraucher in dieser Gruppe scheitern? Gibt es eine Konfigurations-variable? InformationsquelleAutor masih | 2016-05-02

Gelesen von Kafka und schreiben auf hdfs in Parkett

Anzahl der Antworten 3 Antworten
Ich bin neu in der BigData-eco-system und die Art der Vorbereitungen. Habe ich gelesen mehrere Artikel, die über das Lesen einer kafka-Thema der Verwendung von spark-streaming, aber würde gerne wissen, ob es möglich ist, zu Lesen von

org.apache.kafka.common.config.ConfigException: Fehlt die erforderliche Konfiguration “bootstrap.Server", die hat keinen Standardwert

Anzahl der Antworten 2 Antworten
Bin ich immer diese Fehlermeldung beim ausführen von meinem Produzenten Klasse in Eclipse: org.apache.kafka.common.config.ConfigException: Fehlt die erforderliche Konfiguration "bootstrap.Server", die hat keinen Standardwert Hier ist mein producer-Klasse: public class SimpleProducer { public static void main(String args) throws

Kafka-partition-Taste funktioniert nicht richtig

Anzahl der Antworten 3 Antworten
Bin ich mit zu kämpfen, wie die Verwendung der partition-key-Mechanismus richtig. Meine Logik ist, stellen Sie die partition Nummer 3, dann erstellen Sie drei-partition als Schlüssel "0", "1", "2", verwenden Sie dann die partition Schlüssel zum erstellen

Apache Kafka: Replay-Nachrichten in einem Thema

Anzahl der Antworten 2 Antworten
Ich überlege mir mit Apache Kafka als Ereignis-Speicher für die Speicherung von Ereignissen innerhalb einer microservice. Eine Sache, die ich Lesen Sie durch die verschiedenen blogs ist, dass Kafka sein kann, als eine einzige Quelle der Wahrheit,

Wie zum Lesen von Daten aus Thema mit kafka-Knoten?

Anzahl der Antworten 2 Antworten
Ich habe Thema, die ich gelesen haben, von kafka server also für das, dass ich nur erstellen müssen Verbraucher, die Lesen können Daten von kafka Thema, ich bekomme immer Fehler, Thema ist nicht vorhanden. 1 - Wie

Apache Kafka Producer Broker-Verbindung

Anzahl der Antworten 1 Antworten
Habe ich eine Reihe von Kafka-broker-Instanzen als cluster ausgeführt. Ich habe einen client, die Daten zu Kafka: props.put("metadata.broker.list", "broker1:9092,broker2:9092,broker3:9092"); Wenn wir beobachten, mit tcpdump kann ich sehen, dass nur die verbindungen zu broker1 und broker2 werden GEGRÜNDET,

Apache Kafka: Fehler beim Aktualisieren der Metadaten/java.nio.- Kanäle.ClosedChannelException

Anzahl der Antworten 1 Antworten
Ich fange gerade mit Apache Kafka/Tierpfleger und läuft in Probleme, die versuchen, eine cluster on AWS. Momentan habe ich drei Server: Einer mit Tierpfleger und zwei Laufenden Kafka. Kann ich anfangen die Kafka-Servern ohne Problem und können

Lesen Avro Nachrichten von Kafka mit Spark 2.0.2 (strukturierte streaming)

Anzahl der Antworten 4 Antworten
Ich habe eine spark-2.0-Anwendung, die Nachrichten liest, von kafka mit spark streaming (mit spark-streaming-kafka-0-10_2.11). Strukturierte streaming-sieht wirklich cool aus also ich wollte versuchen, und migrieren Sie den code, aber ich kann nicht herausfinden, wie es zu benutzen.

kafka jar nicht enthalten kafka.utils.testutils

Anzahl der Antworten 2 Antworten
Ich versuche zu schreiben, ein unit-test-test-Fall für kafka producer/consumer-und stieß auf ein einfaches Beispiel http://grokbase.com/t/kafka/users/13ck94p302/writing-unit-tests-for-kafka-code. Auf mit diesem code, ich dachte, das Glas nicht Testutils Klasse. Ich begann einige der Forschung auf, wie diese und finden Sie

Fehler: Ausführung von consumer group-Befehl konnte aufgrund Anfrage GROUP_COORDINATOR nicht auf Broker Liste(localhost:9092 (id: -1 Gestell: null,))

Anzahl der Antworten 1 Antworten
Ich bin mit einzelnen Knoten Kafka-cluster(version 0.10.2) und einzelnen Knoten Tierpfleger (3.4.9). Ich bin mit ca 310 Themen mit Avg 100 Partitionen pro Thema. Auf Kafka-broker, wenn ich den Befehl ausführen, um zu überprüfen consumer-status in einer

Tierpfleger ist nicht eine anerkannte option, wenn die Ausführung kafka-console-consumer.sh

Anzahl der Antworten 3 Antworten
Bin ich zum lernen, wie kafka von dieser link(außer ich bin mit port 2182 in Tierpfleger), aber es zeigt: Tierpfleger ist nicht eine anerkannte option nach Ausführung: sudo ./bin/kafka-console-consumer.sh --Thema-test --Tierpfleger localhost:2182 Wie es zu lösen ist?

Wie verringern Sie die Anzahl der Partitionen Kafka-Thema?

Anzahl der Antworten 3 Antworten
Habe ich ein Thema mit 4 Partitionen auf Kafka. (set default number.partition=4). Ich will jetzt die partition Nummer ändern von diesem Thema zu 3. Ich habe versucht, läuft ./bin/kafka-topics.sh --alter --zookeeper localhost:2181 --topic my-topic --partitions 3 aber

Fehler beim konstruieren kafka Verbraucher

Anzahl der Antworten 1 Antworten
Es gibt durchaus ein paar Antworten zu diesem Thema aber nichts funktionierte. Ich versuche, führen Sie die folgenden streams-Prozessor. object simplestream extends App { val builder: KStreamBuilder = new KStreamBuilder val streamingConfig = { //ToDo - Move

So Lesen Sie Datensätze aus Kafka-Thema von Anfang an in der Spark-Streaming?

Anzahl der Antworten 2 Antworten
Ich versuche zu Lesen, Datensätze aus einer Kafka-Thema der Verwendung von Spark-Streaming. Dies ist mein code: object KafkaConsumer { import ApplicationContext._ def main(args: Array[String]) = { val kafkaParams = Map[String, Object]( "bootstrap.servers" -> "localhost:9092", "key.deserializer" -> classOf[StringDeserializer],

INFO Geschlossene socket-Verbindung für client /127.0.0.1:48452 hatte sessionid 0x15698f5ac360001 (org.apache.Tierpfleger.server.NIOServerCnxn)

Anzahl der Antworten 1 Antworten
Ich frisch installiert, Tierpfleger & kafka beiden. Ich begann Sie beide. Dann, wenn ich will, um zu sehen, die Liste der Themen, die mit diesem Befehl: bin/kafka-topics.sh --list --zookeeper localhost 2181 Es gibt mir die socket-Verbindung geschlossen.

Kündigen Kafka Konsole Verbraucher wenn alle Nachrichten gelesen wurden

Anzahl der Antworten 4 Antworten
Weiß ich, es gibt einen Weg, um dies zu tun, aber ich bin nicht in der Lage, um dies herauszufinden. Muss ich halt die kafka-Verbraucher, wenn ich Lesen Sie alle Nachrichten aus der Warteschlange. Kann jemand irgendwelche

WARNEN Fehler beim abrufen von Metadaten mit Korrelations-id 1 : {MY_TOPIC?=INVALID_TOPIC_EXCEPTION} (org.apache.kafka.Kunden.NetworkClient)

Anzahl der Antworten 2 Antworten
wenn ich den folgenden Befehl mit kafka 0.9.0.1 bekomme ich diese Warnungen[1]. Können Sie mir bitte sagen, was ist falsch mit meinen Themen? (Ich spreche auf die kafka-broker, die in ec2) #./kafka-console-consumer.sh --new-consumer --bootstrap-server kafka.xx.com:9092 --topic MY_TOPIC?

Kafka TOPIC_AUTHORIZATION_FAILED

Anzahl der Antworten 3 Antworten
Bin ich tatsächlich arbeiten auf die Einrichtung einfach-Kafka-Authentifizierung mit SASL-Plain-Text, und fügen Sie die ACL-Berechtigung. Aber ich habe ein Problem wenn ich versuche zum verarbeiten von Daten. [main] INFO org.apache.kafka.common.utils.AppInfoParser - Kafka version : 0.10.0.0 [main] INFO

Kafka-Connect-Api - Erste Schritte?

Anzahl der Antworten 3 Antworten
Ich würde gerne verstehen, die Entwicklungs-life-cycle für Kafka connect-Module. Folgenden http://kafka.apache.org/090/documentation.html#connect, ich möchte so schreiben Sie einen benutzerdefinierten Kafka-connect-Modul mit dem "connect-api", aber ich weiß nicht, wo zu beginnen. Gibt es minimale Beispiele, wie dies zu tun?

kafka Knoten, der Verbraucher habe immer alte Nachrichten

Anzahl der Antworten 6 Antworten
im mit dem Modul kafka-Knoten https://github.com/SOHU-Co/kafka-node und jedes mal, wenn ich neu starten, Verbraucher bekamen Sie alle alten Nachrichten, im mit round-robin-system (load-balancing) haben Sie eine Idee wie kann ich erklären, dass server, die ich verbraucht eine

Wie viele Produzenten zu schaffen, in der kafka?

Anzahl der Antworten 4 Antworten
In einem high-volume real-time java web app ich bin das senden von Nachrichten an apache kafka. Derzeit ich ' m senden an ein einzelnes Thema, aber in Zukunft brauche ich zum senden von Nachrichten an mehrere Themen.

Filebeat 5.0 Ausgang zu Kafka mehrere Themen

Anzahl der Antworten 2 Antworten
Ich installiert Filebeat 5.0 auf meinem app-server und haben 3 Filebeat Goldsucher, jeder der Goldsucher auf verschiedene log-Pfade und Ausgabe einer kafka-Thema genannt myapp_applog und alles funktioniert einwandfrei. Meine Filebeat output-Konfiguration um ein Thema - Arbeiten output.kafka:

Kann nicht gestartet werden, Tierpfleger

Anzahl der Antworten 5 Antworten
Ich bin mit konfluent-Plattform, die Tierpfleger aktiv mit status-lookup. aber wenn ich versuche zu starten kafka mit konfluent es zeigt Tierpfleger ist down. $ sudo service zookeeper status Redirecting to /bin/systemctl status zookeeper.service ● zookeeper.service - Zookeeper

Wo kafka-Shops Partitionen für die Themen?

Anzahl der Antworten 3 Antworten
Ich installiert kafka auf einem linux-server. Definierte ich ein Thema mit ein paar Partitionen. Ich weiß, dass jede partition zugeordnet ist, um eine physikalische Datei auf der Festplatte, aber ich weiß nicht, wo es ist. Wo sind

kafka Verbraucher polling-timeout

Anzahl der Antworten 1 Antworten
Arbeite ich mit Kafka und versucht zu verarbeiten von Daten aus es. Aus der unten Linie, ich kann die Umfrage die Daten von Kafka. while (true) { ConsumerRecords<byte, <byte> records = consumer.poll(Long.MAX_VALUE); for (ConsumerRecord<byte, <byte> record :

Apache Kafka - KafkaStream auf Thema/partition

Anzahl der Antworten 3 Antworten
Ich Schreibe Kafka Verbraucher für high volume, high velocity, verteilte Anwendung. Ich habe nur ein Thema, sondern rate der eingehenden Nachrichten ist sehr hoch. Mit mehreren partition, dienen mehr Verbraucher wäre angemessen für diesen use-case. Beste Weg,

Wie monitor-JMX-Metriken von Kafka broker auf der Kommandozeile?

Anzahl der Antworten 3 Antworten
Einem Kafka-cluster können überwacht werden, Details über die JMX-Metriken es macht. In der Regel eine externe GUI-Anwendung wie jconsole werden muss, angeschlossen an einen Makler ausgesetzt JMX_PORT um diese Metriken. Gibt es eine Möglichkeit, die ich können

Kafka: Überwachen Sie die Verzögerung für die Verbraucher, Partitionen zugewiesen Thema

Anzahl der Antworten 3 Antworten
Arbeite ich mit Kafka 0.9.1 neue Verbraucher-API. Der Verbraucher wird manuell eine partition zugewiesen. Für diese Verbraucher ich würde gerne sehen, seine Fortschritte (im Sinne der lag). Da ich Hinzugefügt die Gruppen-id, Verbraucher-tutorial als Eigenschaft, die ich

spring-integration-kafka-config Verbraucher erhalten Nachricht von der partition angeben

Anzahl der Antworten 1 Antworten
Begann ich mit spring-integration-kafka in mein Projekt, und ich kann das produzieren und konsumieren von Nachrichten von Kafka. Aber jetzt, ich wollen, um zu produzieren-Nachricht an bestimmte partition und verbrauchen auch Nachricht von der entsprechenden partition. Beispiel,

Kafka 0.10 Java-Client TimeoutException: Batch mit 1 record(s) abgelaufen ist

Anzahl der Antworten 3 Antworten
Habe ich einen einfachen Knoten, multi (3) broker Tierpfleger /Kafka-setup. Ich bin mit dem Kafka 0.10 Java-client. Schrieb ich folgende einfache remote (auf einem anderen Server als Kafka) Produzent (in dem code ersetzt habe ich meine öffentliche

Kafka Verbraucher Rebalancing-Algorithmus

Anzahl der Antworten 2 Antworten
Kann mir bitte jemand sagen, was das rebalancing-Algorithmus ist für Kafka die Verbraucher? Ich würde gerne verstehen, wie-partition zu zählen-und consumer-threads beeinflussen. Danke, mögliche Duplikate von Kafka Verbraucher Rebalancing Danke für den input, aber, dass doesn '

Fehler beim Lesen der Bereich "Themen": java.nio.BufferUnderflowException in Kafka

Anzahl der Antworten 1 Antworten
9.0-client zu verbrauchen, Nachrichten von zwei Maklern, die auf einem remote-system.Mein Produzent ist in Ordnung, und ist in der Lage, zum senden von Nachrichten an den broker, aber meine Verbraucher ist nicht in der Lage zu konsumieren,

KafkaAvroSerializer zum serialisieren Avro ohne schema.Registrierung.url

Anzahl der Antworten 3 Antworten
Ich bin ein noob auf Kafka und Avro. So habe ich versucht, um das Producer/Consumer läuft. So weit ich in der Lage gewesen, zu produzieren und zu konsumieren, einfach Bytes und Strings, die mit den folgenden :

Kafka-Streams mit Spring Boot

Anzahl der Antworten 3 Antworten
Hey Leute, ich möchte die Arbeit mit Kafka-Streams Echtzeit-Verarbeitung in meine spring-boot-Projekt. Also ich brauche Kafka-Streams-Konfiguration oder möchte ich KStreams oder KTable, aber ich konnte nicht finden, etwa im internet. Habe ich Erzeuger und Verbraucher jetzt will

Wie versenden Sie Daten von Kafka-streams an die clients über Websockets in PlayFramework?

Anzahl der Antworten 1 Antworten
Ich bin mit dem Playframework zusammen mit Scala. Ich bin versucht zu verarbeiten von Daten von Kafka, die Daten zu verarbeiten, und drücken Sie dann die Daten per websockets an den client. Leider bin ich noch relativ

Erstellen Sie ein Thema für Apache Kafka 0.9 Mit Java

Anzahl der Antworten 3 Antworten
Bin ich die Programmierung eines Clients für die Arbeit mit kafka 0.9. Ich möchte wissen, wie man ein Thema erstellen. Diese Antwort: So erstellen Sie ein Thema in Kafka durch Java ist ähnlich zu dem, was ich

Beste Weg zu migrieren Kafka-cluster

Anzahl der Antworten 2 Antworten
Habe ich eine kafka-cluster mit 2 Knoten. Mein kafka-version ist 0.8.1. Muss ich für die Migration auf einen anderen Server. Was ist der beste Weg zu migrieren Wartung ohne Ausfallzeiten und ohne Datenverlust? Etwa dann der Fall,

Verbindung zum Tierpfleger in einem Apache Kafka Multi-Node-cluster

Anzahl der Antworten 2 Antworten
Habe ich die folgenden Anweisungen, um eine multi-Knoten-kafka-cluster. Nun, wie verbindet man die Tierpfleger ? Ist es in Ordnung, eine Verbindung zu nur einem Tierpfleger aus dem Producer/consumer-Seite in JAVA, oder gibt es eine Möglichkeit, schließen Sie

Hive Erstellen Multi-kleine Dateien, die für die einzelnen insert-HDFS

Anzahl der Antworten 3 Antworten
folgenden ist bereits erreicht Kafka Producer-Daten von twitter mit Spark Streaming. Kafka Verbraucher Einlesen von Daten in Externen Hive-Tabelle(HDFS). während dies gut funktioniert, so weit. es gibt nur ein Problem ich bin vor, während meine app einfügen

Kann ich das ignorieren org.apache.kafka.common.Fehler.NotLeaderForPartitionExceptions?

Anzahl der Antworten 1 Antworten
Meinem Apache Kafka producer (0.9.0.1) zeitweise wirft einen org.apache.kafka.common.errors.NotLeaderForPartitionException Meinen code ausführt, die die Kafka senden Sie ähnelt dieser final Future<RecordMetadata> futureRecordMetadata = KAFKA_PRODUCER.send(new ProducerRecord<String, String>(kafkaTopic, UUID.randomUUID().toString(), jsonMessage)); try { futureRecordMetadata.get(); } catch (final InterruptedException interruptedException) {