Änderung der Kafka-Aufbewahrungsdauer zur Laufzeit

Mit Kafka 0.8.1.1, wie ändere ich die log-Vorratsspeicherung Zeit, während es läuft? Die Dokumentation sagt, die Eigenschaft ist log.retention.hoursaber zu ändern versuchen, es mit kafka-topics.sh gibt diesen Fehler

$ bin/kafka-topics.sh --zookeeper zk.yoursite.com --alter --topic as-access --config topic.log.retention.hours=24
Error while executing topic command requirement failed: Unknown configuration "topic.log.retention.hours".
java.lang.IllegalArgumentException: requirement failed: Unknown configuration "topic.log.retention.hours".
    at scala.Predef$.require(Predef.scala:145)
    at kafka.log.LogConfig$$anonfun$validateNames$1.apply(LogConfig.scala:138)
    at kafka.log.LogConfig$$anonfun$validateNames$1.apply(LogConfig.scala:137)
    at scala.collection.Iterator$class.foreach(Iterator.scala:631)
    at scala.collection.JavaConversions$JEnumerationWrapper.foreach(JavaConversions.scala:479)
    at kafka.log.LogConfig$.validateNames(LogConfig.scala:137)
    at kafka.log.LogConfig$.validate(LogConfig.scala:145)
    at kafka.admin.TopicCommand$.parseTopicConfigsToBeAdded(TopicCommand.scala:171)
    at kafka.admin.TopicCommand$$anonfun$alterTopic$1.apply(TopicCommand.scala:95)
    at kafka.admin.TopicCommand$$anonfun$alterTopic$1.apply(TopicCommand.scala:93)
    at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:57)
    at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:43)
    at kafka.admin.TopicCommand$.alterTopic(TopicCommand.scala:93)
    at kafka.admin.TopicCommand$.main(TopicCommand.scala:52)
    at kafka.admin.TopicCommand.main(TopicCommand.scala)

InformationsquelleAutor der Frage Foo L | 2015-03-18

  1. 71

    log.retention.hours ist eine Eigenschaft, die von einem broker, die als ein Standardwert verwendet, wenn ein Thema erstellt wird. Wenn Sie Konfigurationen ändern der aktuell Laufenden Thema mit kafka-topics.shsollten Sie ein Thema-level-Eigenschaft.

    Thema-level-Eigenschaft für die log-retention-Zeit wird retention.ms.

    Vom Thema-level-Konfiguration in Kafka 0.8.1 Dokumentation:

    • Eigenschaft: retention.ms
    • Standard: 7 Tage
    • - Server Default-Eigenschaft: log.retention.Minuten
    • Beschreibung: Diese Konfiguration steuert die maximale Zeit behalten wir eine log-bevor wir verwerfen alte log-Segmente, um Speicherplatz freizugeben, wenn wir über die "löschen" - Aufbewahrungsrichtlinie. Dies stellt einen SLA auf, wie schnell die Verbraucher müssen Lesen Ihre Daten.

    Also der richtige Befehl ist

    $ bin/kafka-topics.sh --zookeeper zk.yoursite.com --alter --topic as-access --config retention.ms=86400000

    Können Sie überprüfen, ob die Konfiguration ordnungsgemäß angewendet werden, mit dem folgenden Befehl.

    $ bin/kafka-topics.sh --describe --zookeeper zk.yoursite.com --topic as-access

    Dann sehen Sie etwas wie unten.

    Topic:as-access  PartitionCount:3  ReplicationFactor:3  Configs:retention.ms=86400000

    InformationsquelleAutor der Antwort Heejin

  2. 23

    Den folgenden die richtige Art und Weise zu verändern Thema config wie von Kafka 0.10.2.0:

    bin/kafka-configs.sh --zookeeper <zk_host> --alter --entity-type topics --entity-name test_topic --add-config retention.ms=86400000

    Thema config ändern Operationen schon veraltet bin/kafka-topics.sh. 

    WARNING: Altering topic configuration from this script has been deprecated and may be removed in future releases.
     Going forward, please use kafka-configs.sh for this functionality`

    InformationsquelleAutor der Antwort Vikas Tikoo

  3. 6

    Die richtige config-Taste ist retention.ms

    $ bin/kafka-topics.sh --zookeeper zk.prod.yoursite.com --alter --topic as-access --config retention.ms=86400000
Updated config for topic "my-topic".

    InformationsquelleAutor der Antwort Foo L

  4. 0

    Ich getestet und verwendet diesen Befehl in kafka confluent V4.0.0 und apache kafka V 1.0.0 and 1.0.1

    /opt/kafka/konfluent-4.0.0/bin/kafka-configs --Tierpfleger XX.XX.XX.XX:2181 --entity-Typ Themen --entity-name test --alter --add-config-Bindung.ms=55000

    test ist die typischen Namen.

    Ich denke, dass es gut funktioniert, in anderen Versionen auch

    InformationsquelleAutor der Antwort Alihossein shahabi

Schreibe einen Kommentar