Actualmente estamos utilizando Elasticsearch para indexar y realizar búsquedas en aproximadamente 10 millones de documentos. Funciona bien y estamos contentos con su rendimiento. Mi colega que inició el uso de Elasticsearch está convencido de que puede usarse como depósito de datos central y que otros sistemas de datos (por ejemplo, SQL Server, Hadoop / Hive) pueden recibir datos. No tuve ningún argumento en contra porque mi conocimiento de ambos es demasiado limitado. Sin embargo, estoy preocupado.

Sé que los datos en Elasticsearch se almacenan de manera eficiente para la búsqueda de texto. Hadoop almacena datos tal como lo haría un sistema de archivos, pero de manera eficiente para escalar / replicar bloques en múltiples nodos de datos. Por lo tanto, en mi opinión, parece más beneficioso usar Hadoop (ya que es más agnóstico con su punto de vista sobre los datos) como un depósito central de datos. Luego envíe datos de Hadoop a SQL, elasticsearch, etc.

He leído algunos artículos sobre casos de uso de Hadoop y elasticsearch y parece convencional usar Hadoop como el depósito central de datos. Sin embargo, no puedo encontrar nada que sugiera que Elasticsearch no sea una alternativa decente.

¡Por favor ayuda!