Установка путей к классам искры в EC2: spark.driver.extraClassPath и spark.executor.extraClassPath

Уменьшение размера jar приложения путем предоставления spark-classPath для зависимостей maven:В моем кластере есть 3 экземпляра ec2, на которых работает hado...

Apache Hive MSCK REPAIR TABLE новый раздел не добавлен

Как настроить Hadoop в Docker Swarm?

Можно ли ограничить задание MapReduce от доступа к удаленным данным?

Добавление банок ульев на постоянной основе

Проверка контрольной суммы в Hadoop

Нужно ли проверять контрольную сумму после того, как мы переместим файлы в Hadoop (HDFS) с сервера Linux через Webhdfs?Я хотел бы убедиться, что файлы на HDF...

Как экспортировать данные из Spark SQL в CSV

Эта команда работает с HiveQL:

Как подключиться к метасольве Hive программно в SparkSQL?

Я использую HiveContext с SparkSQL и пытаюсь подключиться к удаленному метастагу Hive. Единственный способ установить метасторье Hive - это включить hive-sit...

Может ли Apache Spark работать без Hadoop?

Есть ли зависимости междуискра а такжеHadoop?Если нет, есть ли какие-то функции, которые я буду скучать при запускеискра безHadoop?

Подтверждение операции записи данных Hadoop 2.0

У меня есть небольшой запрос относительно записи данных HadoopИз документации ApacheВ общем случае, когда коэффициент репликации равен трем, политика размеще...