Zerlegen Logstash json-Nachricht in die Felder

Es ein logfile speichert-event mit einem Zeitstempel und einer json-Nachricht. Zum Beispiel:

timestamp {"foo": 12, "bar": 13}

Ich würde gerne zerlegen Sie die Tasten (foo und bar) in der json-Teil in den Feldern der Logstash-Ausgang.

Ich bin mir bewusst, dass ich einstellen kann das format-Feld in der Logstash-Datei-filter, um json_event aber in diesem Fall habe ich den timestamp im json-Format. Es ist auch ein json-filter, aber fügt hinzu, dass ein single-Feld mit dem vollständigen json-Daten-Struktur, anstelle der Verwendung der Tasten.

Irgendwelche Ideen, wie dies geschehen kann?

InformationsquelleAutor der Frage Maurits Rijk | 2013-08-08

  1. 16

    Versuchen, die neueste logstash 1.2.1 und verwenden die codec-Wert zu Parsen von json-Veranstaltungen direkt an.

    input {
    file {
        type => "tweetfile"
        path => ["/home/nikhil/temp/feed/*.txt"]
        codec => "json"
    }
}
filter{
    json{
        source => "message"
        target => "tweet"
    }
}
output {
    stdout { }
    elasticsearch { embedded => true }
}

    InformationsquelleAutor der Antwort Nikhil S

  2. 10

    Ich habe dies mit der folgenden config:

    filter {
  grok {
    match => ["message", "\[%{WORD}:%{LOGLEVEL}\] %{TIMESTAMP_ISO8601:tstamp} :: %{GREEDYDATA:msg}"]
  }
  date {
    match => [ "tstamp", "yyyy-MM-dd HH:mm:ss" ]
  }
  json {
    source => "msg"
  }
}

    Durch die Art und Weise, das ist eine config für die neue version 1.2.0.

    In der version 1.1.13, die Sie brauchen, um eine Ziel auf die json-filter und die Referenz für Nachricht in der grok filter ist @Nachricht.

    InformationsquelleAutor der Antwort mimes70

  3. 1

    Können Sie nur verwenden nur Grok-Filter (regex-Stil-Filter/Muster) und weisen die übereinstimmenden Wert in eine variable für die einfache Organisation, Filterung und Suche.

    Beispiel:

    ((?<foo_identifier>(\"foo\"))):((?<foo_variable_value>(\d+,)))

    Etwas entlang jenen Linien.

    Verwenden Sie die GrokDebuggerum zu helfen, wenn Sie stecken bleiben auf die syntax, Muster und Dinge, die Sie denken sollten passend sein, es aber nicht sind.

    Hoffe, das hilft ein bisschen.

    InformationsquelleAutor der Antwort Adam

  4. -3

    Ihre JSON ist falsch {"foo": 12, "bar" 13}

    werden sollte:

    {"foo": 12, "bar": 13}

    InformationsquelleAutor der Antwort Jeryl Cook

Schreibe einen Kommentar