Eu tenho um pequeno cluster ELK que está em teste. A interface da web do kibana é extremamente lenta e gera muitos erros.

Kafka => 8.2
Logstash => 1.5rc3 (mais recente)
Elasticsearch => 1.4.4 (mais recente)
Kibana => 4.0.2 (mais recente)

Os nós do elasticsearch têm 10 GB de RAM cada no Ubuntu 14.04. Estou puxando entre 5 GB e 20 GB de dados por dia.

A execução de uma consulta simples, com apenas 15 minutos de dados na interface da web do kibana, leva vários minutos e geralmente gera erros.

[FIELDDATA] Data too large, data for [timeStamp] would be larger than limit of [3751437926/3.4gb]]

Esses erros sobre as falhas do shard aparecem apenas no kibana. De acordo com todos os outros plugins (head, kopf), os shards de pesquisa elástica são perfeitamente bons e o cluster é verde.

Eu verifiquei com o grupo do Google, o IRC, e observei o estouro da pilha. Parece que a única solução é aumentar o carneiro. Aumentei o carneiro nos meus nós duas vezes. Embora isso pareça corrigi-lo por um dia ou dois, o problema retorna rapidamente. Outras soluções, como limpar o cache, não têm melhorias a longo prazo.

curl -XPUT 'http://elastic.example.com:9200/cache/clear?filter=true'
curl -XPOST 'http://elastic.example.com:9200/_cache/clear' -d '{ "fielddata": "true" }'

De acordo com o plug-in KOPF, a quantidade de espaço de heap rotineiramente se aproxima de 75% em um cluster completamente ocioso. (Eu sou o único na empresa a usá-lo). 3 Nós com 10 GB de RAM devem ser mais que suficientes para a quantidade de dados que eu tenho.

Eu também tentei ajustar os disjuntores comosugerido por este blog.

PUT /_cluster/settings -d '{ "persistent" : { "indices.breaker.fielddata.limit" : "70%" } }'
PUT /_cluster/settings -d '{ "persistent" : {  "indices.fielddata.cache.size" : "60%" } }'

Como posso evitar esses erros e corrigir a extrema lentidão no kibana?

https://github.com/elastic/kibana/issues/3221
elasticsearch obtendo muitos resultados, precisa de ajuda para filtrar a consulta
http://elasticsearch-users.115913.n3.nabble.com/Data-too-large-error-td4060962.html

Atualizar

Eu tenho cerca de 30 dias de índices do logstash. Replicação 2x, ou seja, 10 fragmentos por dia.

Update2

Aumentei a ram de cada nó para 16 GB (total de 48 GB) e também atualizei para a 1.5.2.

Isso parece corrigir o problema por um dia ou dois, mas o problema retorna.

Update3

Este artigo de blog de um funcionário elástico tem boas dicas explicando o que pode causar esses problemas.