Данные поля Elasticsearch / Kibana слишком велики

У меня есть небольшой кластер ELK, который находится в стадии тестирования. Веб-интерфейс кибаны очень медленный и выдает много ошибок.

Кафка => 8,2
Logstash => 1.5rc3 (последняя версия)
Elasticsearch => 1.4.4 (последняя версия)
Кибана => 4.0.2 (последняя версия)

В Ubuntu 14.04 каждый узел эластичного поиска имеет 10 ГБ оперативной памяти. Я загружаю от 5 до 20 ГБ данных в день.

Выполнение даже простого запроса с данными всего за 15 минут в веб-интерфейсе kibana занимает несколько минут и часто выдает ошибки.

[FIELDDATA] Data too large, data for [timeStamp] would be larger than limit of [3751437926/3.4gb]]

Эти ошибки о сбоях осколков появляются только в кибане. В соответствии со всеми другими плагинами (head, kopf), сегменты эластичного поиска прекрасно работают, а кластер зеленый.

Я проверил с группой Google, IRC и посмотрел на переполнение стека. Кажется, единственным решением является увеличение оперативной памяти. Я увеличил баран на моих узлах в два раза. Хотя кажется, что это можно исправить за день или два, проблема быстро возвращается. Другие решения, такие как очистка кэша, не имеют долгосрочных улучшений.

curl -XPUT 'http://elastic.example.com:9200/cache/clear?filter=true'
curl -XPOST 'http://elastic.example.com:9200/_cache/clear' -d '{ "fielddata": "true" }'

Согласно плагину KOPF, объем пространства кучи обычно достигает 75% на полностью бездействующем кластере. (Я единственный в компании использую его). 3 Узлов с 10 ГБ оперативной памяти должно быть более чем достаточно для объема данных, которые у меня есть.

Я также попытался настроить выключатели какпредложенный этим блогом.

PUT /_cluster/settings -d '{ "persistent" : { "indices.breaker.fielddata.limit" : "70%" } }'
PUT /_cluster/settings -d '{ "persistent" : {  "indices.fielddata.cache.size" : "60%" } }'

Как я могу предотвратить эти ошибки и исправить крайнюю медленность в кибане?

https://github.com/elastic/kibana/issues/3221
asticsearch получает слишком много результатов, нужна помощь в фильтрации запросов
http://elasticsearch-users.115913.n3.nabble.com/Data-too-large-error-td4060962.html

Обновить

У меня около 30 дней индексов из logstash. 2x Репликация, так что это 10 осколков в день.

Update2

Я увеличил объем памяти каждого узла до 16 ГБ (всего 48 ГБ), а также обновился до 1.5.2.

Это кажется, чтобы решить проблему в течение дня или двух, однако проблема возвращается.

Update3

У этой статьи блога от упругого сотрудника есть хорошие подсказки объясняя, что может вызвать эти проблемы.

Ответы на вопрос(2)

Ваш ответ на вопрос