elasticsearch / kibana Fehler "Daten zu groß ist, Daten für [@timestamp] größer wäre als limit

Auf meinem test-ELK cluster, ich bin auf den folgenden Fehler beim Versuch, die Daten aus der letzten Woche.

Data too large, data for [@timestamp] would be larger than limit

Die Warnung über Scherben andernfalls erscheint irreführend, da das elasticsearch-monitoring-tools kopf und head zeigen, dass alle Scherben sind ordnungsgemäß funktioniert, und die elastischen cluster ist grün.

elasticsearch /kibana Fehler

Einen Benutzer in die google-Gruppe für elasticsearch schlägt die Erhöhung ram. Ich habe erhöhte meine 3 Knoten zu 8GB mit jeweils 4,7 GB heap, aber das Problem weiterhin besteht.
Ich bin Generierung von über 5 GB und 25 GB Daten pro Tag, mit einer 30-Tage-retention.

InformationsquelleAutor spuder | 2015-04-22

36

Löschen des cache lindert die Symptome für jetzt.

http://www.elastic.co/guide/en/elasticsearch/reference/current/indices-clearcache.html

Klar einem einzigen index
```
curl -XPOST 'http://localhost:9200/twitter/_cache/clear'
```
Klar mehrere Indizes
```
curl -XPOST 'http://localhost:9200/kimchy,elasticsearch/_cache/clear'

curl -XPOST 'http://localhost:9200/_cache/clear'
```
Oder wie empfohlen von einem user im IRC. Dies scheint zu funktionieren am besten.
```
curl -XPOST 'http://localhost:9200/_cache/clear' -d '{ "fielddata": "true" }'
```
Update: diese Fehler ging Weg, sobald die cluster verschoben wurde, um eine schnellere hypervisor
- Ich lief in das gleiche Probleme und das löschen des cache gelöst. Ich bin mir nicht sicher, ob dies ist etwas, was getan werden muss, um in regelmäßigen Abständen. Danke!
- Das funktionierte! Danke! Nie gesehen, dieses Problem vor trotz der Verwendung ES für einige Jahre jetzt...sehr seltsam.
- Ja, hatte das gleiche problem und gelöscht, den cache und alles funktionierte wieder. Upvote und star in Frage.
- Nur das Letzte für mich gearbeitet, obwohl ich nur das Abfragen einer der Indizes
- Es hat mir sehr geholfen.
- Machst du das regelmäßig oder war es genug, es einmal zu tun?
- Aber die Frage bleibt, hat das löschen des cache haben, werden in regelmäßigen Abständen durchgeführt, oder es ist eine dauerhafte Lösung, wie die änderung der Konfiguration, die getan werden muss, um es zu beheben dauerhaft?
- Danke @spuder es geht..Aber ist es notwendig, zum löschen des cache regelmäßig? Warum der cache voll ist...gibt es eine Möglichkeit, dieses problem zu vermeiden
- Das problem magisch ging Weg für uns. Wir vermuten, dass Netzwerk - /hypervisor-performance-Probleme waren die Ursache.
InformationsquelleAutor spuder
2

Das problem ist die Erinnerung gegeben, um die Elasticsearch durch ES_JAVA_OPTS.

Versuchen zu geben, mehr Speicher mit: ES_JAVA_OPTS="-Xmx2g -Xms2g".

InformationsquelleAutor FChiri
0

Löschen des cache hat nicht funktioniert für unsere cluster. Bei der überprüfung der verschiedenen Knoten mit http://x.x.x.x:9200/_cat/indices?v&s=index:desc eine Aufgabe, die oben genannten Fehler und die anderen hatten invalid pointer-Fehler. Ich Neustart des elastischen service zum einen geben die rate limit/Daten zu groß Fehler. Als er wieder online war, gab es einige nicht zugeordneten Scherben, die ich behoben, indem die Replikation zählen zu einer niedrigeren Zahl (brauchst dazu nur auf einem der Knoten zu ändern der index-Einstellungen für den cluster):
```
IFS=$'\n'
for line in $(curl -s 'elastic-search.example.com:9200/_cat/shards' | fgrep UNASSIGNED); do
  INDEX=$(echo $line | (awk '{print $1}'))
  echo start $INDEX
  curl -XPUT "elastic-search.example.com:9200/$INDEX/_settings" -d '{
      "index" : {
        "number_of_replicas" : 1
      }
    }
    '
done

# Check shard/cluster status (may take some time to rebalance):
# http://elastic-search.example.com:9200/_cat/shards?v&s=index:desc
# http://elastic-search.example.com:9200/_cluster/health?pretty
```
Auch https://discuss.elastic.co/t/data-too-large/32141 scheint zu erwähnen, es kann ein Problem mit der Größe des JVM-heap.

InformationsquelleAutor Greg Bray

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.