Ich habe einen kleinen ELK-Cluster, der gerade getestet wird. Das kibana Webinterface ist extrem langsam und wirft viele Fehler auf.

Kafka => 8.2
Logstash => 1.5rc3 (spätestens)
Elasticsearch => 1.4.4 (aktuell)
Kibana => 4.0.2 (aktuell)

Die elasticsearch-Knoten haben unter Ubuntu 14.04 jeweils 10 GB RAM. Ich ziehe zwischen 5 GB und 20 GB Daten pro Tag ein.

Das Ausführen einer einfachen Abfrage mit nur 15 Minuten Daten in der kibana-Weboberfläche dauert einige Minuten und führt häufig zu Fehlern.

[FIELDDATA] Data too large, data for [timeStamp] would be larger than limit of [3751437926/3.4gb]]

Diese Fehler bezüglich der Shard-Fehler treten nur in Kibana auf. Allen anderen Plugins (head, kopf) zufolge sind die Elasticsearch-Shards in Ordnung, und der Cluster ist grün.

Ich habe bei der Google-Gruppe, IRC und Stapelüberlauf gesucht. Die einzige Lösung scheint darin zu bestehen, den Stößel zu vergrößern. Ich habe den RAM auf meinen Knoten zweimal erhöht. Während das für ein oder zwei Tage zu beheben scheint, kehrt das Problem schnell zurück. Andere Lösungen wie das Bereinigen des Caches weisen keine langfristigen Verbesserungen auf.

curl -XPUT 'http://elastic.example.com:9200/cache/clear?filter=true'
curl -XPOST 'http://elastic.example.com:9200/_cache/clear' -d '{ "fielddata": "true" }'

Gemäß dem KOPF-Plug-in nähert sich die Größe des Heapspeichers in einem vollständig inaktiven Cluster routinemäßig 75%. (Ich bin der einzige in der Firma, der es benutzt). 3 Knoten mit 10 GB RAM sollten mehr als genug für die Datenmenge sein, über die ich verfüge.

Ich habe auch versucht, die Schalter als @ einzustellon diesem Blog empfohle

PUT /_cluster/settings -d '{ "persistent" : { "indices.breaker.fielddata.limit" : "70%" } }'
PUT /_cluster/settings -d '{ "persistent" : {  "indices.fielddata.cache.size" : "60%" } }'

Wie kann ich diese Fehler verhindern und die extreme Langsamkeit in Kibana beheben?

https: //github.com/elastic/kibana/issues/322
elasticsearch Wenn Sie zu viele Ergebnisse erhalten, benötigen Sie Hilfe beim Filtern der Abfrage
http: //elasticsearch-users.115913.n3.nabble.com/Data-too-large-error-td4060962.htm

Aktualisiere

Ich habe ca. 30 Tage Index von Logstash. 2x Replikation, also 10 Shards pro Tag.

Update2

Ich habe den RAM-Speicher jedes Knotens auf 16 GB (insgesamt 48 GB) erhöht und ein Upgrade auf 1.5.2 durchgeführt.

Dies scheint das Problem für ein oder zwei Tage zu beheben, das Problem tritt jedoch erneut auf.

Update3

Dieser Blogartikel eines elastischen Mitarbeiters hat gute Tipps Erklären, was diese Probleme verursachen kann.