Ich habe ES 1.5.2-Cluster mit den folgenden Spezifikationen:

3 Knoten mit RAM: 32 GB, CPU-Kerne: jeweils 8 282 Gesamtindizes 2.564 insgesamt Scherben 799,505,935 Dokumente insgesamt 767.84GB Gesamtdaten ES_HEAP_SIZE = 16g

Das Problem ist, wenn ich Kibana verwende, um eine Sache abzufragen (sehr einfache Abfragen), wenn es eine einzelne Abfrage ist, funktioniert es gut, aber wenn ich weiterhin weitere Abfragen mache - elastisch wird so langsam und bleibt schließlich hängen, weil die JVM Heap-Auslastung (von Marvel) steigt auf 87-95%. Es passiert auch, wenn ich versuche, ein Kibana-Dashboard zu laden, und die einzige Lösung für diese Situation istNeustar der Dienst auf allen Knoten.

(Dies geschieht auch auf ES 2.2.0, 1 Knoten, mit Kibana 4)

Was stimmt nicht, was fehle ich? Soll ich weniger abfragen?

BEARBEITEN

Ich musste erwähnen, dass ich viele leere Indizes (0 Dokumente) habe, aber die Scherben werden gezählt. Dies ist so, weil ich ttl auf die Dokumente für 4w gesetzt habe und die leeren Indizes mit curator gelöscht werden.

Auch wir haben doc_values in den Clustern 1.5.2 und 2.2.0 nicht deaktiviert. Die genauen Spezifikationen lauten wie folgt (1.5.2):

3 Knoten mit RAM: 32 GB, CPU-Kerne: jeweils 8 282 Gesamtindizes = 227 leer + 31 Wunder + 1 Kibana + 23 Daten 2.564 Shards insgesamt = (1135 leer + 31 Wunder + 1 Kibana + 115 Daten) * 1 Replikat 799,505,935 Dokumente insgesamt 767.84GB Gesamtdaten ES_HEAP_SIZE = 16g

curl _cat / fielddata? v Ergebnis:

1.5.2:

 total os.cpu.usage primaries.indexing.index_total total.fielddata.memory_size_in_bytes jvm.mem.heap_used_percent jvm.gc.collectors.young.collection_time_in_millis primaries.docs.count device.imei fs.total.available_in_bytes os.load_average.1m index.raw @timestamp node.ip_port.raw fs.total.disk_io_op node.name jvm.mem.heap_used_in_bytes jvm.gc.collectors.old.collection_time_in_millis total.merges.total_size_in_bytes jvm.gc.collectors.young.collection_count jvm.gc.collectors.old.collection_count total.search.query_total 
 2.1gb        1.2mb                          3.5mb                                3.4mb                     1.1mb                                                0b                3.5mb       2.1gb                       1.9mb              1.8mb     3.6mb      3.6mb            1.7mb               1.9mb     1.7mb                      1.6mb                                           1.5mb                            3.5mb                                    1.5mb                                  1.5mb                    3.2mb 
 1.9gb        1.2mb                          3.4mb                                3.3mb                     1.1mb                                             1.5mb                3.5mb       1.9gb                       1.9mb              1.8mb     3.5mb      3.6mb            1.7mb               1.9mb     1.7mb                      1.5mb                                           1.5mb                            3.4mb                                       0b                                  1.5mb                    3.2mb 
   2gb           0b                             0b                                   0b                        0b                                                0b                   0b         2gb                          0b                 0b        0b         0b               0b                  0b        0b                         0b                                              0b                               0b                                       0b                                     0b                       0b 

2.2.0:

  total index_stats.index node.id node_stats.node_id buildNum endTime location.timestamp userActivity.time startTime   time shard.state shard.node indoorOutdoor.time shard.index dataThroughput.downloadSpeed 
176.2mb                0b      0b                 0b     232b 213.5kb            518.8kb           479.7kb    45.5mb 80.1mb       1.4kb       920b            348.7kb       2.5kb                       49.1mb