Eu tenho o cluster ES 1.5.2 com as seguintes especificações:

3 nós com RAM: 32GB, núcleos de CPU: 8 cada282 índices totais2.564 fragmentos totais799.505.935 total de documentos767,84GB no total de dadosES_HEAP_SIZE = 16g

O problema é quando estou usando o Kibana para consultar alguma coisa (consultas muito simples), se uma única consulta está funcionando bem, mas se eu continuar consultando um pouco mais - o elástico está ficando tão lento e eventualmente preso porque a pilha da JVM o uso (da Marvel) está chegando a 87-95%. Isso acontece também quando estou tentando carregar um painel do Kibana e a única solução para essa situação éreiniciar o serviço em todos os nós.

(Isso também acontece no ES 2.2.0, 1 nó, com o Kibana 4)

O que está errado, o que estou perdendo? Devo consultar menos?

EDITAR:

Eu tinha que mencionar que tenho muitos índices vazios (0 documentos), mas os fragmentos são contados. É assim que eu defini ttl nos documentos para 4w e os índices vazios serão excluídos com o curador.

Também não desabilitamos doc_values nos clusters 1.5.2 nem 2.2.0. As especificações precisas são as seguintes (1.5.2):

3 nós com RAM: 32GB, núcleos de CPU: 8 cada282 índices totais = 227 vazios + 31 maravilhas + 1 kibana + 23 dados2.564 fragmentos totais = (1135 vazios + 31 maravilhas + 1 kibana + 115 dados) * 1 réplica799.505.935 total de documentos767,84GB no total de dadosES_HEAP_SIZE = 16g

curl _cat / fielddata? v resultado:

1.5.2:

 total os.cpu.usage primaries.indexing.index_total total.fielddata.memory_size_in_bytes jvm.mem.heap_used_percent jvm.gc.collectors.young.collection_time_in_millis primaries.docs.count device.imei fs.total.available_in_bytes os.load_average.1m index.raw @timestamp node.ip_port.raw fs.total.disk_io_op node.name jvm.mem.heap_used_in_bytes jvm.gc.collectors.old.collection_time_in_millis total.merges.total_size_in_bytes jvm.gc.collectors.young.collection_count jvm.gc.collectors.old.collection_count total.search.query_total 
 2.1gb        1.2mb                          3.5mb                                3.4mb                     1.1mb                                                0b                3.5mb       2.1gb                       1.9mb              1.8mb     3.6mb      3.6mb            1.7mb               1.9mb     1.7mb                      1.6mb                                           1.5mb                            3.5mb                                    1.5mb                                  1.5mb                    3.2mb 
 1.9gb        1.2mb                          3.4mb                                3.3mb                     1.1mb                                             1.5mb                3.5mb       1.9gb                       1.9mb              1.8mb     3.5mb      3.6mb            1.7mb               1.9mb     1.7mb                      1.5mb                                           1.5mb                            3.4mb                                       0b                                  1.5mb                    3.2mb 
   2gb           0b                             0b                                   0b                        0b                                                0b                   0b         2gb                          0b                 0b        0b         0b               0b                  0b        0b                         0b                                              0b                               0b                                       0b                                     0b                       0b 

2.2.0:

  total index_stats.index node.id node_stats.node_id buildNum endTime location.timestamp userActivity.time startTime   time shard.state shard.node indoorOutdoor.time shard.index dataThroughput.downloadSpeed 
176.2mb                0b      0b                 0b     232b 213.5kb            518.8kb           479.7kb    45.5mb 80.1mb       1.4kb       920b            348.7kb       2.5kb                       49.1mb