Резюме:

Это возможно:

Импортируйте данные в Hadoop с помощью «MongoDB Connector for Hadoop».Обработайте его с помощью Hadoop MapReduce.Экспортируйте его с помощью Sqoop за одну транзакцию.

Я строю веб-приложение с MongoDB. Хотя MongoDB хорошо работает для большей части работы, в некоторых частях мне нужны более сильные транзакционные гарантии, для которых я использую базу данных MySQL.

Моя проблема в том, что я хочу прочитать большую коллекцию MongoDB для анализа данных, но размер коллекции означает, что аналитическая работа займет слишком много времени для обработки. К сожалению, встроенная в MongoDB инфраструктура сокращения карт не подойдет для этой работы, поэтому я бы предпочел провести анализ сApache Hadoop.

Я понимаю, что можно читать данные из MongoDB в Hadoop, используя«MongoDB Connector для Hadoop», который считывает данные из MongoDB, обрабатывает их с помощью MapReduce в Hadoop и, наконец, выводит результаты обратно в базу данных MongoDB.

Проблема в том, что я хочу, чтобы выходные данные MapReduce помещались в базу данных MySQL, а не в MongoDB, потому что результаты должны быть объединены с другими таблицами MySQL.

Для этого я знаю, что Sqoop может экспортировать результат Hadoop MapReduce в MySQL.

В конечном счете, я хочу также прочитать данные MongoDB, затем обработать их с помощью Hadoop и, наконец, вывести результат в базу данных MySQL.

Это возможно? Какие инструменты доступны для этого?