Kafka - Dieser server ist nicht der Führer für das Thema-partition

Habe ich zwei broker kafka 0.10.2.0 cluster.Replikations-Faktor ist 2. Ich bin mit 1.0.0 kafka-stream-Anwendung gegen diese Kafka. In meinem kafka-stream-Anwendung, Produzent config hat retries = 10 and retry.backoff.ms = 100

Läuft nach paar Minuten, die ich beobachtet habe folgende logs in Kakfa-server.log. Aufgrund dieser Kafka-stream-Anwendung ist, werfen 'NOT_LEADER_FOR_PARTITION' Ausnahme.

Was kann die mögliche Ursache? Bitte helfen Sie mir.

[2017-12-12 10:26:02,583] ERROR [ReplicaFetcherThread-0-1], Error for partition [__consumer_offsets,22] to broker 1:org.apache.kafka.common.errors.NotLeaderForPartitionException: This server is not the leader for that topic-partition. (kafka.server.ReplicaFetcherThread)
Produzent nicht wiederholen intern auf diesen Fehler und nur wirft es scheidet erschöpft sind-vielleicht haben Sie einen Netzwerk-Probleme und damit die Produzenten nicht finden können die richtige broker.
Sie waren in der Lage, dieses Problem zu lösen ?

InformationsquelleAutor Rednam Nagendra | 2017-12-12

  1. 1

    Jedes Thema wird serviert von einer oder mehreren Maklern - one ist Marktführer und die restlichen Broker sind Anhänger.

    Einem Hersteller senden muss, um neue Nachrichten zu dem leader-Broker, die intern die Daten repliziert werden, um alle Anhänger.

    Ich gehe davon aus, dass Ihre Produzenten client nicht, eine Verbindung mit dem richtigen Broker, seine Verbindung zu einem Anhänger statt der Anführer, und dieser follower lehnt Ihre Anfrage senden.

    Versuchen zu laufen ./kafka-topics.sh --zookeeper localhost:2181 --topic your_topic --describe

    Topic:your_topic    PartitionCount:3    ReplicationFactor:1 Configs:retention.ms=14400000
Topic: your_topic   Partition: 0    Leader: 2   Replicas: 2 Isr: 2
Topic: your_topic   Partition: 1    Leader: 0   Replicas: 0 Isr: 0
Topic: your_topic   Partition: 2    Leader: 1   Replicas: 1 Isr: 1

    In diesem Beispiel können Sie sehen, dass your_topic habe 3 Partitionen, also alle 3 Broker sind Anführer, dass jedes Thema auf andere partition, s ist.t broker 2 ist führend auf partition 0 und broker 0 und broker 1 sind follower auf partition 0.

    Danke für die Erklärung. Aber wie kann ich das Problem beheben NOT_LEADER_FOR_PARTITION? Was sollte ich korrigieren, in dem Hersteller?
    wenn verstehe ich das richtig, mit wiederholen > 0 Hersteller sollte in der Lage sein zu finden, die richtigen Führer, die in den nachfolgenden Wiederholungen.

    InformationsquelleAutor Gal Shaboodi

  2. 0

    Versuchen Sie, diese Eigenschaften und sehen, ob es hilft, das Problem zu beheben: 

    props.put(ProducerConfig.RETRIES_CONFIG, 10);  //increase to 10 from default of 0
props.put(ConsumerConfig.MAX_POLL_INTERVAL_MS_CONFIG,   
    Integer.toString(Integer.MAX_VALUE)); //increase to infinity from default of 300 s

    (Quelle)

    InformationsquelleAutor Anand

Schreibe einen Kommentar