Мое требование заключается в

Переместить данные из Oracle в HDFSОбработка данных на HDFSПереместить обработанные данные в Teradata.

Также необходимо выполнять всю эту обработку каждые 15 минут. Объем исходных данных может быть близок к 50 ГБ, а обработанные данные также могут быть одинаковыми.

После поисков в Интернете я обнаружил, что

ORAOOP для перемещения данных из Oracle в HDFS (используйте код с сценарием оболочки и запланируйте его запуск с требуемым интервалом).Выполните крупномасштабную обработку либо с помощью Custom MapReduce, либо Hive, либо PIG.SQOOP - Соединитель Teradata для перемещения данных из HDFS в Teradata (снова создайте сценарий оболочки с кодом и затем запланируйте его).

Во-первых, является ли это правильным вариантом и возможно ли это в течение необходимого периода времени (обратите внимание, что это не ежедневная партия или около того)?

Другие варианты, которые я нашел, следующие

STORM (для обработки данных в реальном времени). Но я не смог найти из коробки оракул-носик или болт Teradata.Любые инструменты с открытым исходным кодом ETL, такие как Talend или Pentaho.

Пожалуйста, поделитесь своими мыслями об этих опциях, а также о любых других возможностях.