Tag: apache-kafka

In Samza und Kafka-Streams, Daten-stream-Verarbeitung erfolgt in einer Sequenz/graph (genannt "dataflow graph" in Samza und "Topologie" im Kafka-Streams) der Verarbeitung der Schritte (genannt "job" in Samza" und "Prozessor" in der Kafka-Streams). Ich nenne diese beiden Begriffe als

Gibt es eine elegante Möglichkeit zur Abfrage einer Kafka-Thema für einen bestimmten Datensatz? Die REST-API, die ich Baue, bekommt eine ID und muss sich bis zugeordneten Datensätze, die ID in einer Kafka-Thema. Ein Ansatz ist es, zu

In Kafka, ich möchte nur eine einzige broker, einziges Thema und eine einzige partition mit einem Erzeuger und mehrere Verbraucher (jeder Verbraucher erhält seine eigene Kopie der Daten, die vom broker). Angesichts dieser, ich will nicht den

Ich bin der Entwicklung eines mobile messaging-app. Ich ging durch die erforderliche Technologie und fand zwei MQTT & Apache Kafta. Mir scheint, tun die gleiche Sache in der gleichen Weise (in Bezug auf abonnieren & publishing zu

Ich bin mit kafka_2.9.2-0.8.1.1 mit Tierpfleger 3.4.6. Gibt es ein Dienstprogramm, das automatisch entfernen kann ein Verbraucher Gruppe von zookeeper? Oder kann ich einfach entfernen Sie alles unter /Verbraucher/[group_id] in Tierpfleger? Wenn letzteres, gibt es etwas, was

bin/kafka-topics.sh --create --topic activityTopic --zookeeper localhost:2181/kafka --partitions 1 --replication-factor 1 Den oben genannten Befehl aus kafka einen Fehler produziert Error while executing topic command org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /brokers/ids org.I0Itec.zkclient.exception.ZkNoNodeException: org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /brokers/ids

Ich versuche zu laufen Kafka-0.8 Log4j appender und ich bin nicht in der Lage, es zu machen. Ich möchte meine Bewerbung zu senden, melden Sie sich direkt auf kafka über Log4j appender. Hier ist meine log4j.Eigenschaften. Ich

Bin ich angefangen zu lernen, Kafka für enterprise-Lösung Zwecken. Während meiner Lesungen, einige Fragen, die mir in den Sinn kam: Wenn ein Hersteller produziert eine Nachricht - es wird angeben, das Thema es will, um die Nachricht

Habe ich erstellt multi-thread-Verbraucher app funktioniert auf verschiedenen Partitionen. Auf der Suche in verschiedenen blogs kam ich zu wissen über " max.poll.records' - Eigenschaft, um die Kontrolle über die Menge der Datensätze aus bestimmtes Thema, eine partition.(so

Habe ich drei Kafka-Broker (kafka_2.11-0.10.0.0)und jeder broker die Sicherheit konfiguriert ist, wie unten listeners=PLAINTEXT://xxxx:9093,SASL_PLAINTEXT://xxxx:10093 advertised.listeners=PLAINTEXT://xxxx:9093,SASL_PLAINTEXT://xxxx:10093 security.inter.broker.protocol=PLAINTEXT sasl.enabled.mechanisms=PLAIN sasl.mechanism.inter.broker.protocol=PLAIN authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer allow.everyone.if.no.acl.found=true super.users=User:admin kafka_server_jaas.conf auch so konfiguriert, mit der Benutzer admin. KafkaServer { org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="welcome1" user_guest="welcome1"; };

Wir sind mit kafka für die Speicherung von Nachrichten und schob eine extrem große Anzahl von Nachrichten(> 30k in einer minute). Ich bin nicht sicher, ob es relevant ist, sondern der code, der Produzent der kafka-Nachricht ist

Ich versuche, laden Sie eine Daten-Datei in der Schleife(to check stats) anstelle der standard-Eingabe bei Kafka. Nach dem Download Kafka, habe ich folgende Schritte ausgeführt: Begann Tierpfleger: bin/zookeeper-server-start.sh config/zookeeper.properties Gestartet Server: bin/kafka-server-start.sh config/server.properties Erstellt ein Thema mit

Ich bin versucht, setup-eine Kafka-cluster (der erste Knoten im cluster eigentlich). Ich habe eine single-node-zookeeper-cluster-setup. Ich bin einrichten kafka auf einem separaten Knoten. Beiden läuft CentOS 6.4, läuft IPV6-das ist ein bisschen ein PITA. Ich habe überprüft,

Kann ich dies tun: ./bin/kafka-avro-console-consumer --zookeeper 10.0.0.225:2181/kafka --topic myTopic --property schema.registry.url=http://10.0.0.100:8081 --from-beginning Aber ich habe zu viele Nachrichten. Ich würde eher nur die letzten N Einsen. Wie kann ich das machen mit kafka Konsole Verbraucher? einfach zu

Nach einer Kafka-Thema wurde von einem Hersteller oder von einem administrator, wie würden Sie ändern, die Anzahl der Replikate dieses Thema? InformationsquelleAutor GuruPo | 2016-06-22

Ich versuche, die Implementierung eines kafka Verbraucher in scala. Ich habe gesehen, eine million tutorials für, wie es in Java, und sogar einige ( wie diese ), die sagen, dass es für scala, aber es ist in

Ich bin auf der Suche nach Aufklärung über das Thema. In Kafka-Dokumentationen habe ich Folgendes gefunden: Kafka stellt nur eine totale Ordnung über Nachrichten innerhalb einer partition, nicht zwischen verschiedenen Partitionen in ein Thema. Pro-partition Bestellung in

Vom release 0.8.1.1, Kafka stellt die Regelung für die Speicherung des offsets im Kafka, anstatt Tierpfleger (siehe diese). Ich bin nicht in der Lage, herauszufinden, wie Sie die details des offsets verbraucht, als die aktuelle tools bieten

Ich untersuche Kafka 9 als ein hobby-Projekt abgeschlossen und ein paar "Hello World" geben Sie Beispiele. Habe ich zu denken über die Reale Welt-Kafka-Anwendungen auf Basis von request-response messaging im Allgemeinen und speziell, wie die Verknüpfung eines

Ich Schreibe ein kafka Verbraucher mit Java. Ich will, dass die Echtzeit von der Nachricht, also wenn es zu viele Nachrichten warten auf Sie konsumieren, wie 1000 oder mehr, sollte ich aufgeben, die nicht verbrauchten Nachrichten und

Ich bin neu auf Kafka und versuchen, setup-Umgebung für Sie . Ich versuche zu laufen, die einen einzelnen Knoten Kafka, aber ich bin immer Fehler in diesem. Folgenden folgenden Schritte auf mac 1. brew install zookeeper 2.

Ich versuche, herauszufinden, welche offsets meine aktuellen High-Level-Verbraucher sind arbeiten aus. Ich benutze Kafka 0.8.2.1, mit keine "versetzt.Speicher" in der server.Eigenschaften des Kafka - die, wie ich denke, bedeutet, dass die offsets gespeichert sind, in Kafka. (Ich

Sind wir mit einem problem konfrontiert, mit Kafka. Wir haben ein Thema mit nur einer partition und nur ein Verbraucher in einer Verbraucher-Gruppe. Der Verbraucher angehalten worden ist, für einen Monat. In der Zwischenzeit, Produzenten senden von

Habe ich einige JUnit-tests auf code, der verwendet kafka Thema. Die mock-kafka-Themen, die ich probiert habe funktionieren nicht, und die Beispiele, die online zu finden sind, sehr alt, so dass Sie sich auch nicht, die Arbeit mit

--Verbraucher Properties props = new Properties(); String groupId = "consumer-tutorial-group"; List<String> topics = Arrays.asList("consumer-tutorial"); props.put("bootstrap.servers", "192.168.1.75:9092"); props.put("group.id", groupId); props.put("enable.auto.commit", "true"); props.put("key.deserializer", StringDeserializer.class.getName()); props.put("value.deserializer", StringDeserializer.class.getName()); KafkaConsumer<String, String> consumer = new KafkaConsumer<String, String>(props); try { consumer.subscribe(topics); while (true) {