отаю над кластером ES из 6B небольших документов, организованных по 6,5 тыс. Индексов, всего 6 ТБ. Индексы реплицируются и обрабатываются на 7 серверах. Заполняемость индексов варьируется от нескольких КБ до сотен ГБ.

Перед использованием ES я использовал Lucene с той же организацией документов.

ВосстановлениеПриложение на основе Lucene было довольно немедленным, Фактически, индексы загружались лениво, когда поступал запрос, а затем IndexReader кэшировался, чтобы ускорить будущие ответы.

Сейчас,с Elasticsearch восстановление происходит очень медленно (десятки минут). Обратите внимание, что обычно перед сбоем открываются все индексы, и большинство из них получают документы для индексации довольно часто.

Есть ли хороший шаблон для сокращения времени восстановления ES? Меня также интересует все, что связано с управлением индексами, а не только с конфигурацией. Например, я хотел бы быстрее восстановить наиболее важные индексы, а затем загрузить все остальные; тем самым я могу уменьшить время простоя большинства пользователей.

Я использую следующую конфигурацию:

#Max number of indices cuncurrently loaded at startup
indices.recovery.concurrent_streams: 80

#Max number of bytes cuncurrently readed at startup for loading the indices
indices.recovery.max_bytes_per_sec: 250mb

#Allow to control specifically the number of initial recoveries of primaries that are allowed per node
cluster.routing.allocation.node_initial_primaries_recoveries: 20

#Max number of indices cuncurrently loaded at startup
cluster.routing.allocation.node_concurrent_recoveries: 80

#the number of streams to open (on a node level) for small files (under 5mb) to recover a shard from a peer shard
indices.recovery.concurrent_small_file_streams: 30

PS: прямо сейчас я использую ES 2.4.1, но я буду использовать ES 5.2 через несколько недель. PPS: сценарий может быть восстановление после отключения электроэнергии.

Спасибо!