Resumen

Es posible que

Importe datos a Hadoop con el «Conector MongoDB para Hadoop».Procéselo con Hadoop MapReduce.Exportarlo con Sqoop en una sola transacción.

Estoy creando una aplicación web con MongoDB. Si bien MongoDB funciona bien durante la mayor parte del trabajo, en algunas partes necesito garantías transaccionales más sólidas, para lo cual uso una base de datos MySQL.

Mi problema es que quiero leer una gran colección de MongoDB para el análisis de datos, pero el tamaño de la colección significa que el trabajo analítico tardaría demasiado en procesarse. Desafortunadamente, el marco de reducción de mapas incorporado de MongoDB no funcionaría bien para este trabajo, por lo que preferiría llevar a cabo el análisis conApache Hadoop.

Entiendo que es posible leer datos de MongoDB en Hadoop usando «Conector MongoDB para Hadoop», que lee datos de MongoDB, los procesa con MapReduce en Hadoop y finalmente devuelve los resultados a una base de datos MongoDB.

l problema es que quiero que la salida de MapReduce vaya a una base de datos MySQL, en lugar de MongoDB, porque los resultados deben fusionarse con otras tablas MySQL.

Para este propósito, sé que Sqoop puede exportar el resultado de un Hadoop MapReduce a MySQL.

n última instancia, también quiero leer los datos de MongoDB, luego procesarlos con Hadoop y finalmente enviar el resultado a una base de datos MySQL.

¿Es posible? ¿Qué herramientas están disponibles para hacer esto?