Piszę narzędzie do analizy w czasie rzeczywistym za pomocą kafki, burzy i elasticsearch i chcę elasticsearch, który jest zoptymalizowany pod kątem zapisu dla wkładek około 50K / s. Na potrzeby POC próbowałem wstawić dokumenty zbiorcze do elasticsearch, uzyskując 10K wkładek na sekundę.

Używam ES na dużym polu amazon ec2. Poprawiłem właściwości jak poniżej:

indices.memory.index_buffer_size: 30%
indices.memory.min_shard_index_buffer_size: 30mb
indices.memory.min_index_buffer_size: 96mb

threadpool.bulk.type: fixed
threadpool.bulk.size: 100
threadpool.bulk.queue_size: 2000


bootstrap.mlockall: true

Ale chcę wydajność zapisu rzędu 50K, a nie 10K, aby zapewnić normalny przepływ topologii burzy. Czy ktoś może zasugerować, jak skonfigurować ciężki klaster ES zoptymalizowany pod kątem zapisu.