Данные поля Elasticsearch / Kibana слишком велики
У меня есть небольшой кластер ELK, который находится в стадии тестирования. Веб-интерфейс кибаны очень медленный и выдает много ошибок.
Кафка => 8,2
Logstash => 1.5rc3 (последняя версия)
Elasticsearch => 1.4.4 (последняя версия)
Кибана => 4.0.2 (последняя версия)
В Ubuntu 14.04 каждый узел эластичного поиска имеет 10 ГБ оперативной памяти. Я загружаю от 5 до 20 ГБ данных в день.
Выполнение даже простого запроса с данными всего за 15 минут в веб-интерфейсе kibana занимает несколько минут и часто выдает ошибки.
[FIELDDATA] Data too large, data for [timeStamp] would be larger than limit of [3751437926/3.4gb]]
Эти ошибки о сбоях осколков появляются только в кибане. В соответствии со всеми другими плагинами (head, kopf), сегменты эластичного поиска прекрасно работают, а кластер зеленый.
Я проверил с группой Google, IRC и посмотрел на переполнение стека. Кажется, единственным решением является увеличение оперативной памяти. Я увеличил баран на моих узлах в два раза. Хотя кажется, что это можно исправить за день или два, проблема быстро возвращается. Другие решения, такие как очистка кэша, не имеют долгосрочных улучшений.
curl -XPUT 'http://elastic.example.com:9200/cache/clear?filter=true'
curl -XPOST 'http://elastic.example.com:9200/_cache/clear' -d '{ "fielddata": "true" }'
Согласно плагину KOPF, объем пространства кучи обычно достигает 75% на полностью бездействующем кластере. (Я единственный в компании использую его). 3 Узлов с 10 ГБ оперативной памяти должно быть более чем достаточно для объема данных, которые у меня есть.
Я также попытался настроить выключатели какпредложенный этим блогом.
PUT /_cluster/settings -d '{ "persistent" : { "indices.breaker.fielddata.limit" : "70%" } }'
PUT /_cluster/settings -d '{ "persistent" : { "indices.fielddata.cache.size" : "60%" } }'
Как я могу предотвратить эти ошибки и исправить крайнюю медленность в кибане?
https://github.com/elastic/kibana/issues/3221
asticsearch получает слишком много результатов, нужна помощь в фильтрации запросов
http://elasticsearch-users.115913.n3.nabble.com/Data-too-large-error-td4060962.html
Обновить
У меня около 30 дней индексов из logstash. 2x Репликация, так что это 10 осколков в день.
Update2
Я увеличил объем памяти каждого узла до 16 ГБ (всего 48 ГБ), а также обновился до 1.5.2.
Это кажется, чтобы решить проблему в течение дня или двух, однако проблема возвращается.
Update3
У этой статьи блога от упругого сотрудника есть хорошие подсказки объясняя, что может вызвать эти проблемы.