Wie behandelt man mehrere heterogene Eingaben mit Logstash?

Lassen Sie uns sagen, Sie haben 2 verschiedene Arten von Protokollen wie technische und business-Protokolle, und Sie möchten:

  • raw-technischer Protokolle geroutet werden gegen einen graylog2 server unter Verwendung einer gelf Ausgabe,
  • json-business-Protokolle gespeichert werden, in einen elasticsearch-cluster mithilfe der speziellen elasticsearch_http Ausgabe.

Weiß ich, dass mit Syslog-NG zum Beispiel der Konfigurationsdatei erlauben, zu definieren, mehrere verschiedene Eingänge, die dann separat verarbeitet werden, bevor Sie abgesetzt wird; was Logstash scheint nicht in der Lage, das zu tun. Auch wenn eine Instanz eingeleitet werden können, mit zwei spezifischen Konfigurations-Dateien, alle log-nehmen Sie den gleichen Kanal und angewendet werden, die gleichen Bearbeitungen ...

Sollte ich führen Sie so viele Instanzen, wie ich verschiedene Arten von logs?

Kommentar zu dem Problem
Sie sollten akzeptieren, Ben Lim die richtige Antwort! Kommentarautor: Ben Wheeler

InformationsquelleAutor der Frage David | 2013-08-20

  1. 166

    Sollte ich führen Sie so viele Instanzen, wie ich verschiedene Arten von logs?

    Nein! Sie können nur eine Instanz für den Umgang mit verschiedenen Arten von Protokollen.

    In der logstash-Konfiguration-Datei, können Sie jede Eingabe mit verschiedenen geben.
    Dann in den filter, den Sie verwenden können, wenn verschiedene unterschiedliche Verarbeitung,
    und auch bei der Ausgabe, die Sie verwenden können, "wenn" - Ausgabe in anderes Ziel.

    input {
    file {
            type => "technical"
            path => "/home/technical/log"
    }
    file {
            type => "business"
            path => "/home/business/log"
    }
} 
filter {
    if [type] == "technical" {
            # processing .......
    }
    if [type] == "business" {
            # processing .......
    }
}
output {
    if [type] == "technical" {
            # output to gelf
    }
    if [type] == "business" {
            # output to elasticsearch
    }
}

    Hoffe das kann dir helfen 🙂

    InformationsquelleAutor der Antwort Ben Lim

  2. 4

    Ich verwendet tags für mehrere Datei-Eingabe:

    input {
    file {
        type => "java"
        path => "/usr/aaa/logs/stdout.log"
        codec => multiline {
            ...
        },
        tags => ["aaa"]
    }

    file {
        type => "java"
        path => "/usr/bbb/logs/stdout.log"
        codec => multiline {
                ...
        }
        tags => ["bbb"]
    }
}
output {
    stdout {
        codec => rubydebug
    }
    if "aaa" in [tags] {
        elasticsearch {
            hosts => ["192.168.100.211:9200"]
            index => "aaa"
            document_type => "aaa-%{+YYYY.MM.dd}"
        }
    }

    if "bbb" in [tags] {
        elasticsearch {
            hosts => ["192.168.100.211:9200"]
            index => "bbb"
            document_type => "bbb-%{+YYYY.MM.dd}"
        }
    }
}

    InformationsquelleAutor der Antwort Robin Wang

  3. 0

    Ich denke, logstash nicht Lesen können mehr als 2 Dateien im Input-Bereich . versuchen Sie, die unten 

    input {
    file {
            type => "technical"
            path => "/home/technical/log"
    }
    file {
            type => "business"
            path => "/home/business/log"
    }
 file {
            type => "business1"
            path => "/home/business/log1"
    }
}

    InformationsquelleAutor der Antwort KM Prak

Schreibe einen Kommentar