Kafka producer zum Lesen von Daten-Dateien

Ich versuche, laden Sie eine Daten-Datei in der Schleife(to check stats) anstelle der standard-Eingabe bei Kafka. Nach dem Download Kafka, habe ich folgende Schritte ausgeführt:

Begann Tierpfleger:

bin/zookeeper-server-start.sh config/zookeeper.properties

Gestartet Server:

bin/kafka-server-start.sh config/server.properties

Erstellt ein Thema mit dem Namen "test":

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Lief der Produzent:

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 
Test1
Test2

Hörte durch den Verbraucher:

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
Test1
Test2

Statt von Standard-input, möchte ich weitergeben einer Daten-Datei an die Hersteller, die kann man direkt durch den Verbraucher. Oder gibt es eine kafka-Produzent statt der Konsole Verbraucher mit dem kann ich Lesen von Daten-Dateien. Jede Hilfe wäre wirklich zu schätzen. Danke!

InformationsquelleAutor Sumit | 2016-02-13
  1. 4

    Können Sie die Daten Lesen, Datei über cat-und pipeline-es kafka-console-producer.sh. 

    cat ${datafile} | ${kafka_home}/bin/kafka-console-producer.sh --broker-list ${brokerlist} --topic test
    • Oder, wenn Sie wollen Lesen Sie die gesamte Datei und dann weiter tailing nachträglich angehängt Linien, die Sie verwenden würden tail -f -n +1 file_path statt cat.
    • Kafka hat built-in-Datei-source connector, der ist gemacht für solche Art der Aufgabe: Lesen einer einzelnen Datei in Erzeuger-Verbraucher saugen Daten. Siehe meine Antwort unten.
    InformationsquelleAutor Shawn Guo
  2. 4

    Wenn es immer eine einzige Datei, können Sie einfach tail-Befehl und dann die pipeline-es kafka Konsole Produzent.

    Aber wenn eine neue Datei wird erstellt, wenn bestimmte Bedingungen erfüllt sind, möglicherweise müssen Sie apache verwenden.Unterhaus.io.monitor neue Datei erstellt, dann wiederholen Sie den oben beschriebenen.

    • logstash oder filebeat besser sein könnte
    InformationsquelleAutor Gang Sun
  3. 2

    Kafka hat diese built-in Datei-Stream-Anschluss, für Rohrleitungen, den Inhalt einer Datei, die auf den Produzenten(Datei-Quelle), oder die Datei-Inhalte an ein anderes Ziel(Datei, Waschbecken).

    Wir haben bin/connect-standalone.sh zu Lesen aus der Datei, die konfiguriert werden können, in config/connect-file-source.properties und config/connect-standalone.properties.

    So wird der Befehl:

    bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties
    InformationsquelleAutor WesternGun
  4. 0

    Können Sie wahrscheinlich versuchen, die kafkacat Dienstprogramm als gut.
    Die readme auf Github enthält Beispiele

    Es wäre toll, wenn könnten Sie teilen, welches Werkzeug am besten funktioniert für Sie 🙂

    Details aus KafkaCat Readme:

    Nachrichten Lesen von stdin, produzieren in der 'syslog' - Thema mit snappy compression

    $ tail -f /var/log/syslog | kafkacat -b mybroker -t syslog -z snappy
    InformationsquelleAutor Mehul
  5. 0
    kafka-console-produce.sh \
  --broker-list localhost:9092 \
  --topic my_topic \
  --new-producer < my_file.txt

    Folgen Sie diesem link: http://grokbase.com/t/kafka/users/157b71babg/kafka-producer-input-file

    InformationsquelleAutor Tanvi Garg
  6. 0

    Der einfachste Weg, wenn Sie mit Linux oder Mac ist:

    kafka-console-producer --broker-list localhost:9092 --topic test < messages.txt

    Referenz:
    https://github.com/Landoop/kafka-cheat-sheet

    InformationsquelleAutor Churong Zhang
Schreibe einen Kommentar