Tag: apache-kafka
Apache Kafka ist eine verteilte streaming-Plattform zum speichern und verarbeiten von high-throughput Daten-streams.
2
Antworten
Ich habe versucht, führen Sie Performance-test nach der folgenden Artikel für Apache Kafka Referenz: https://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-three-cheap-machines Verlinkten tests: https://gist.github.com/jkreps/c7ddb4041ef62a900e6c Aber wenn ich dies ausführen: bin/kafka-run-class.sh org.apache.kafka.clients.tools.ProducerPerformance test7 50000000 100 -1 acks=1 bootstrap.servers=localhost:9092 buffer.memory=67108864 batch.size=8196 Es zeigt den Fehler:
2
Antworten
Ich bin mit Kafka 0.8.2.0 (Scala 2.10). In meinen Logfiles sehe ich die folgende Meldung zeitweise. Dies scheint ein Problem, aber ich bin sowohl in meinem localhost. Ist das eine Harmlose Fehlermeldung oder sollte ich etwas tun,
1
Antworten
Ich versuche, änderungen an der sample-Java-Code zur Verfügung gestellt von Spark JavaKafkaWordCount.java und versuchen, es zu bauen mit Maven. Ich arbeite an der Funke standalone-Modul. Ich bin mit folgenden pom.xml: <project> <groupId>com.mycompany.app</groupId> <artifactId>my-app</artifactId> <modelVersion>4.0.0</modelVersion> <name>Simple Project</name> <packaging>jar</packaging>
2
Antworten
Ich bin mit hortonworks sandbox. erstellen Thema: ./kafka-topics.sh --create --zookeeper 10.25.3.207:2181 --replication-factor 1 --partitions 1 --topic lognew tailing der apache-access-log-Verzeichnis: tail -f /var/log/httpd/access_log |./kafka-console-producer.sh --broker-list 10.25.3.207:6667 --topic lognew An ein anderes terminal (Franz kafka-bin), start consumer -:
2
Antworten
Wie ich genau Holen Sie sich die Bestätigung von Kafka, sobald die Nachricht ist verbraucht oder verarbeitet werden. Klingt vielleicht blöd, aber gibt es eine Möglichkeit zu wissen, die start-und end-offset der Meldung, für die das ack
4
Antworten
derzeit bin ich Bewertung Sie verschiedene Messaging-Systeme. Es ist eine Frage im Zusammenhang mit Apache Kafka die ich nicht beantworten konnte, mich. Ist es möglich, für einen Kafka-producer zum erstellen von Themen und Partitionen (auf vorhandene Themen
2
Antworten
Ich habe gerade ein neues Thema, und noch nicht produziert jede Nachricht noch. Eine Datei namens in 00000000000000000000.index wurde in dem Verzeichnis erstellt /tmp/kafka-logs-1/topicname-0/, und die Größe der Datei ist wirklich groß. Ich öffnete die binary-Datei in
1
Antworten
Ich bin mit kafka 0.9.0.1 broker und 0.9.0.1 consumer client. Meine consumer-Instanzen verbrauchen Datensätze mit einer Bearbeitungszeit von weniger als 1 Sekunde. Und anderen wichtigen configs sind enable.auto.commit=false session.timeout.ms=30000 heartbeat.interval.ms=25000 Ich mich verpflichtet offset nach der Verarbeitung.
3
Antworten
Bei der Verwendung kafka, kann ich eine codec-durch die Einstellung der kafka.die Komprimierung.codec-Eigenschaft meiner kafka-Produzent. Angenommen, ich benutze snappy compression in meinem Produzenten, beim Verzehr der Nachrichten von kafka mit einigen kafka-Verbraucher, sollte ich etwas tun, um
3
Antworten
Wie lange dauert kafka speichern der offset der Verbraucher nach alle Verbraucher in dieser Gruppe scheitern? Gibt es eine Konfigurations-variable? InformationsquelleAutor masih | 2016-05-02
3
Antworten
Ich bin neu in der BigData-eco-system und die Art der Vorbereitungen. Habe ich gelesen mehrere Artikel, die über das Lesen einer kafka-Thema der Verwendung von spark-streaming, aber würde gerne wissen, ob es möglich ist, zu Lesen von
2
Antworten
Bin ich immer diese Fehlermeldung beim ausführen von meinem Produzenten Klasse in Eclipse: org.apache.kafka.common.config.ConfigException: Fehlt die erforderliche Konfiguration "bootstrap.Server", die hat keinen Standardwert Hier ist mein producer-Klasse: public class SimpleProducer { public static void main(String args) throws
3
Antworten
Bin ich mit zu kämpfen, wie die Verwendung der partition-key-Mechanismus richtig. Meine Logik ist, stellen Sie die partition Nummer 3, dann erstellen Sie drei-partition als Schlüssel "0", "1", "2", verwenden Sie dann die partition Schlüssel zum erstellen
2
Antworten
Ich überlege mir mit Apache Kafka als Ereignis-Speicher für die Speicherung von Ereignissen innerhalb einer microservice. Eine Sache, die ich Lesen Sie durch die verschiedenen blogs ist, dass Kafka sein kann, als eine einzige Quelle der Wahrheit,
2
Antworten
Ich habe Thema, die ich gelesen haben, von kafka server also für das, dass ich nur erstellen müssen Verbraucher, die Lesen können Daten von kafka Thema, ich bekomme immer Fehler, Thema ist nicht vorhanden. 1 - Wie
1
Antworten
Habe ich eine Reihe von Kafka-broker-Instanzen als cluster ausgeführt. Ich habe einen client, die Daten zu Kafka: props.put("metadata.broker.list", "broker1:9092,broker2:9092,broker3:9092"); Wenn wir beobachten, mit tcpdump kann ich sehen, dass nur die verbindungen zu broker1 und broker2 werden GEGRÜNDET,
1
Antworten
Ich fange gerade mit Apache Kafka/Tierpfleger und läuft in Probleme, die versuchen, eine cluster on AWS. Momentan habe ich drei Server: Einer mit Tierpfleger und zwei Laufenden Kafka. Kann ich anfangen die Kafka-Servern ohne Problem und können
4
Antworten
Ich habe eine spark-2.0-Anwendung, die Nachrichten liest, von kafka mit spark streaming (mit spark-streaming-kafka-0-10_2.11). Strukturierte streaming-sieht wirklich cool aus also ich wollte versuchen, und migrieren Sie den code, aber ich kann nicht herausfinden, wie es zu benutzen.
2
Antworten
Ich versuche zu schreiben, ein unit-test-test-Fall für kafka producer/consumer-und stieß auf ein einfaches Beispiel http://grokbase.com/t/kafka/users/13ck94p302/writing-unit-tests-for-kafka-code. Auf mit diesem code, ich dachte, das Glas nicht Testutils Klasse. Ich begann einige der Forschung auf, wie diese und finden Sie
1
Antworten
Ich bin mit einzelnen Knoten Kafka-cluster(version 0.10.2) und einzelnen Knoten Tierpfleger (3.4.9). Ich bin mit ca 310 Themen mit Avg 100 Partitionen pro Thema. Auf Kafka-broker, wenn ich den Befehl ausführen, um zu überprüfen consumer-status in einer
3
Antworten
Bin ich zum lernen, wie kafka von dieser link(außer ich bin mit port 2182 in Tierpfleger), aber es zeigt: Tierpfleger ist nicht eine anerkannte option nach Ausführung: sudo ./bin/kafka-console-consumer.sh --Thema-test --Tierpfleger localhost:2182 Wie es zu lösen ist?
3
Antworten
Habe ich ein Thema mit 4 Partitionen auf Kafka. (set default number.partition=4). Ich will jetzt die partition Nummer ändern von diesem Thema zu 3. Ich habe versucht, läuft ./bin/kafka-topics.sh --alter --zookeeper localhost:2181 --topic my-topic --partitions 3 aber
1
Antworten
Es gibt durchaus ein paar Antworten zu diesem Thema aber nichts funktionierte. Ich versuche, führen Sie die folgenden streams-Prozessor. object simplestream extends App { val builder: KStreamBuilder = new KStreamBuilder val streamingConfig = { //ToDo - Move
2
Antworten
Ich versuche zu Lesen, Datensätze aus einer Kafka-Thema der Verwendung von Spark-Streaming. Dies ist mein code: object KafkaConsumer { import ApplicationContext._ def main(args: Array[String]) = { val kafkaParams = Map[String, Object]( "bootstrap.servers" -> "localhost:9092", "key.deserializer" -> classOf[StringDeserializer],
1
Antworten
Ich frisch installiert, Tierpfleger & kafka beiden. Ich begann Sie beide. Dann, wenn ich will, um zu sehen, die Liste der Themen, die mit diesem Befehl: bin/kafka-topics.sh --list --zookeeper localhost 2181 Es gibt mir die socket-Verbindung geschlossen.
4
Antworten
Weiß ich, es gibt einen Weg, um dies zu tun, aber ich bin nicht in der Lage, um dies herauszufinden. Muss ich halt die kafka-Verbraucher, wenn ich Lesen Sie alle Nachrichten aus der Warteschlange. Kann jemand irgendwelche
2
Antworten
wenn ich den folgenden Befehl mit kafka 0.9.0.1 bekomme ich diese Warnungen[1]. Können Sie mir bitte sagen, was ist falsch mit meinen Themen? (Ich spreche auf die kafka-broker, die in ec2) #./kafka-console-consumer.sh --new-consumer --bootstrap-server kafka.xx.com:9092 --topic MY_TOPIC?
3
Antworten
Bin ich tatsächlich arbeiten auf die Einrichtung einfach-Kafka-Authentifizierung mit SASL-Plain-Text, und fügen Sie die ACL-Berechtigung. Aber ich habe ein Problem wenn ich versuche zum verarbeiten von Daten. [main] INFO org.apache.kafka.common.utils.AppInfoParser - Kafka version : 0.10.0.0 [main] INFO
3
Antworten
Ich würde gerne verstehen, die Entwicklungs-life-cycle für Kafka connect-Module. Folgenden http://kafka.apache.org/090/documentation.html#connect, ich möchte so schreiben Sie einen benutzerdefinierten Kafka-connect-Modul mit dem "connect-api", aber ich weiß nicht, wo zu beginnen. Gibt es minimale Beispiele, wie dies zu tun?
6
Antworten
im mit dem Modul kafka-Knoten https://github.com/SOHU-Co/kafka-node und jedes mal, wenn ich neu starten, Verbraucher bekamen Sie alle alten Nachrichten, im mit round-robin-system (load-balancing) haben Sie eine Idee wie kann ich erklären, dass server, die ich verbraucht eine
4
Antworten
In einem high-volume real-time java web app ich bin das senden von Nachrichten an apache kafka. Derzeit ich ' m senden an ein einzelnes Thema, aber in Zukunft brauche ich zum senden von Nachrichten an mehrere Themen.
2
Antworten
Ich installiert Filebeat 5.0 auf meinem app-server und haben 3 Filebeat Goldsucher, jeder der Goldsucher auf verschiedene log-Pfade und Ausgabe einer kafka-Thema genannt myapp_applog und alles funktioniert einwandfrei. Meine Filebeat output-Konfiguration um ein Thema - Arbeiten output.kafka:
5
Antworten
Ich bin mit konfluent-Plattform, die Tierpfleger aktiv mit status-lookup. aber wenn ich versuche zu starten kafka mit konfluent es zeigt Tierpfleger ist down. $ sudo service zookeeper status Redirecting to /bin/systemctl status zookeeper.service ● zookeeper.service - Zookeeper
3
Antworten
Ich installiert kafka auf einem linux-server. Definierte ich ein Thema mit ein paar Partitionen. Ich weiß, dass jede partition zugeordnet ist, um eine physikalische Datei auf der Festplatte, aber ich weiß nicht, wo es ist. Wo sind
1
Antworten
Arbeite ich mit Kafka und versucht zu verarbeiten von Daten aus es. Aus der unten Linie, ich kann die Umfrage die Daten von Kafka. while (true) { ConsumerRecords<byte, <byte> records = consumer.poll(Long.MAX_VALUE); for (ConsumerRecord<byte, <byte> record :
3
Antworten
Ich Schreibe Kafka Verbraucher für high volume, high velocity, verteilte Anwendung. Ich habe nur ein Thema, sondern rate der eingehenden Nachrichten ist sehr hoch. Mit mehreren partition, dienen mehr Verbraucher wäre angemessen für diesen use-case. Beste Weg,
3
Antworten
Einem Kafka-cluster können überwacht werden, Details über die JMX-Metriken es macht. In der Regel eine externe GUI-Anwendung wie jconsole werden muss, angeschlossen an einen Makler ausgesetzt JMX_PORT um diese Metriken. Gibt es eine Möglichkeit, die ich können
3
Antworten
Arbeite ich mit Kafka 0.9.1 neue Verbraucher-API. Der Verbraucher wird manuell eine partition zugewiesen. Für diese Verbraucher ich würde gerne sehen, seine Fortschritte (im Sinne der lag). Da ich Hinzugefügt die Gruppen-id, Verbraucher-tutorial als Eigenschaft, die ich
1
Antworten
Begann ich mit spring-integration-kafka in mein Projekt, und ich kann das produzieren und konsumieren von Nachrichten von Kafka. Aber jetzt, ich wollen, um zu produzieren-Nachricht an bestimmte partition und verbrauchen auch Nachricht von der entsprechenden partition. Beispiel,
3
Antworten
Habe ich einen einfachen Knoten, multi (3) broker Tierpfleger /Kafka-setup. Ich bin mit dem Kafka 0.10 Java-client. Schrieb ich folgende einfache remote (auf einem anderen Server als Kafka) Produzent (in dem code ersetzt habe ich meine öffentliche
2
Antworten
Kann mir bitte jemand sagen, was das rebalancing-Algorithmus ist für Kafka die Verbraucher? Ich würde gerne verstehen, wie-partition zu zählen-und consumer-threads beeinflussen. Danke, mögliche Duplikate von Kafka Verbraucher Rebalancing Danke für den input, aber, dass doesn '
1
Antworten
9.0-client zu verbrauchen, Nachrichten von zwei Maklern, die auf einem remote-system.Mein Produzent ist in Ordnung, und ist in der Lage, zum senden von Nachrichten an den broker, aber meine Verbraucher ist nicht in der Lage zu konsumieren,
3
Antworten
Ich bin ein noob auf Kafka und Avro. So habe ich versucht, um das Producer/Consumer läuft. So weit ich in der Lage gewesen, zu produzieren und zu konsumieren, einfach Bytes und Strings, die mit den folgenden :
3
Antworten
Hey Leute, ich möchte die Arbeit mit Kafka-Streams Echtzeit-Verarbeitung in meine spring-boot-Projekt. Also ich brauche Kafka-Streams-Konfiguration oder möchte ich KStreams oder KTable, aber ich konnte nicht finden, etwa im internet. Habe ich Erzeuger und Verbraucher jetzt will
1
Antworten
Ich bin mit dem Playframework zusammen mit Scala. Ich bin versucht zu verarbeiten von Daten von Kafka, die Daten zu verarbeiten, und drücken Sie dann die Daten per websockets an den client. Leider bin ich noch relativ
3
Antworten
Bin ich die Programmierung eines Clients für die Arbeit mit kafka 0.9. Ich möchte wissen, wie man ein Thema erstellen. Diese Antwort: So erstellen Sie ein Thema in Kafka durch Java ist ähnlich zu dem, was ich
2
Antworten
Habe ich eine kafka-cluster mit 2 Knoten. Mein kafka-version ist 0.8.1. Muss ich für die Migration auf einen anderen Server. Was ist der beste Weg zu migrieren Wartung ohne Ausfallzeiten und ohne Datenverlust? Etwa dann der Fall,
2
Antworten
Habe ich die folgenden Anweisungen, um eine multi-Knoten-kafka-cluster. Nun, wie verbindet man die Tierpfleger ? Ist es in Ordnung, eine Verbindung zu nur einem Tierpfleger aus dem Producer/consumer-Seite in JAVA, oder gibt es eine Möglichkeit, schließen Sie
3
Antworten
folgenden ist bereits erreicht Kafka Producer-Daten von twitter mit Spark Streaming. Kafka Verbraucher Einlesen von Daten in Externen Hive-Tabelle(HDFS). während dies gut funktioniert, so weit. es gibt nur ein Problem ich bin vor, während meine app einfügen
1
Antworten
Meinem Apache Kafka producer (0.9.0.1) zeitweise wirft einen org.apache.kafka.common.errors.NotLeaderForPartitionException Meinen code ausführt, die die Kafka senden Sie ähnelt dieser final Future<RecordMetadata> futureRecordMetadata = KAFKA_PRODUCER.send(new ProducerRecord<String, String>(kafkaTopic, UUID.randomUUID().toString(), jsonMessage)); try { futureRecordMetadata.get(); } catch (final InterruptedException interruptedException) {