Wie definieren Sie getrennte Indizes für unterschiedliche Protokolle in Filebeat/ELK?

Frage ich mich, wie man erstellen Sie getrennte Indizes für unterschiedliche Protokolle holte in logstash (die später an elasticsearch), so dass in kibana kann ich definieren zwei Indizes für und entdecken Sie.

In meinem Fall habe ich ein paar client-Server (von denen jede ist installiert mit filebeat) und einen zentralen log-server (ELK). Jeder client-server verfügt über verschiedene Arten von Protokollen, z.B. redis.log, python Protokolle mongodb logs, die ich gerne Sortieren Sie in verschiedene Indizes und gespeicherte in elasticsearch.

Jeder client-server dient auch anderen Zwecken, z.B. Datenbanken, Benutzeroberflächen, Anwendungen. Daher habe ich auch gerne, um Ihnen die verschiedenen index-Namen (durch ändern der Ausgangs-index in filebeat.yml?).

InformationsquelleAutor daiyue | 2016-08-08
  1. 7

    In Ihrem Filebeat Konfiguration, die Sie verwenden können, document_type zu identifizieren, die verschiedenen Protokolle, die Sie haben. Dann innerhalb von Logstash Sie können den Wert der type Feld zur Kontrolle der Ziel-index.

    Jedoch, bevor Sie Ihre separate logs in verschiedene Indizes sollten Sie erwägen, Sie in einem einzelnen index und das verwenden entweder type oder einige benutzerdefiniertes Feld zu unterscheiden zwischen log-Typen. Sehen index Typ vs.

    Beispiel Filebeat prospector config:

    filebeat:
  prospectors:
    - paths:
        - /var/log/redis/*.log
      document_type: redis

    - paths:
        - /var/log/python/*.log
      document_type: python

    - paths:
        - /var/log/mongodb/*.log
      document_type: mongodb

    Beispiel Logstash config:

    input {
  beats {
    port => 5044
  }
}

output {
  # Customize elasticsearch output for Filebeat.
  if [@metadata][beat] == "filebeat" {
    elasticsearch {
      hosts => "localhost:9200"
      manage_template => false
      # Use the Filebeat document_type value for the Elasticsearch index name.
      index => "%{[@metadata][type]}-%{+YYYY.MM.dd}"
      document_type => "log"
    }
  }
}
    • Sind Sie sicher, dass document_type im filebeat erstellen einer [@metadata][type] Feld in der logstash-Ereignis und nicht ein [type] Feld? Ich denke, es sollte Lesen index => "%{type}-%{+YYYY.MM.dd}" statt.
    • Die document_type Wert, sowohl für die [@metadata][type] und [type], also entweder Feld kann verwendet werden, für den index.
    • Gotcha, danke für die Bestätigung.
    • document_type nicht im es6+, aber funktioniert gut wihth es4, es5..ich denke das ist mein problem..
    InformationsquelleAutor A J
  2. 2

    In logstash Sie können definieren mehrere Eingabe -, filter-oder output-plugins mit Hilfe von tags: 

    input {
    file {
            type => "redis"
            path => "/home/redis/log"
    }
    file {
            type => "python"
            path => "/home/python/log"
    }
} 
filter {
    if [type] == "redis" {
            # processing .......
    }
    if [type] == "python" {
            # processing .......
    }
}
output {
    if [type] == "redis" {
            # output to elasticsearch redis
            index => "redis" 
    }
    if [type] == "python" {
            # output to elasticsearch python
            index => "python"
    }
}
    InformationsquelleAutor alpert
  3. 1

    filebeat.yml

    filebeat.prospectors:

- input_type: log
    paths:
    - /var/log/*.log
  fields: {log_type: toolsmessage}


- input_type: log
  paths:
    - /etc/httpd/logs/ssl_access_*
  fields: {log_type: toolsaccess}

    in der logstash.conf.

    input {
  beats {
    port => "5043"
  }
}

filter {
  if ([fields][log_type] == "toolsmessage") {
    mutate {
      replace => {
        "[type]" => "toolsmessage"
      }
    }
  }
  else if ([fields][log_type] == "toolsaccess") {
    mutate {
      replace => {
        "[type]" => "toolsaccess"
      }
    }
  }
}

output {
  elasticsearch {
    hosts => ["10.111.119.211:9200"]
    index => "%{type}_index"
  }
 #stdout { codec => rubydebug }
}
    InformationsquelleAutor tyan
  4. 0

    Habe ich gelesen, die alle der oben genannten.
    Findet heraus meinen Weg.

    input {
    stdin {
    }
    jdbc {
      type => "jdbc"
      ....
    }
    http_poller {
        type=>"api"
      ....
    }

}
filter {
....
}
output {
    elasticsearch {
        hosts => ["jlkjkljljkljk"]
        index => "%{type}_index"
        document_id => "%{id}"
    }
    stdout {
        codec => json_lines
    }
}
    InformationsquelleAutor rex wan
Schreibe einen Kommentar