Объединить два RDD в Spark Scala

У меня есть два RDD.rdd1 = (Строка, Строка)

Spark-запрос выполняется очень медленно

У меня есть кластер на AWS с 2 рабами и 1 мастером. Все экземпляры имеют тип m1.large. У меня работает спарк версии 1.4. Я оцениваю производительность на 4 м...

Время итераций искры увеличивается экспоненциально при использовании соединения

Я совершенно новичок в Spark и пытаюсь реализовать некоторый итерационный алгоритм кластеризации (ожидание-максимизация) с центроидом, представленным моделью...

Как добавить файл конфигурации в classpath всех исполнителей Spark в Spark 1.2.0?

Я использую Typesafe Config,https://github.com/typesafehub/config, для параметризации задания Spark, работающего в режиме кластера пряжи, с помощью файла кон...

Установка путей к классам искры в EC2: spark.driver.extraClassPath и spark.executor.extraClassPath

Уменьшение размера jar приложения путем предоставления spark-classPath для зависимостей maven:В моем кластере есть 3 экземпляра ec2, на которых работает hado...

СДР Spark cache не отображается в Web-интерфейсе Spark History - Хранилище

я использую

Spark Launcher бесконечно ждет завершения работы

Я пытаюсь отправить JAR с заданием Spark в кластер YARN из кода Java. Я использую SparkLauncher для отправки примера SparkPi:

Как бороться с задачами, выполняющимися слишком долго (по сравнению с другими в работе) в Yarn-клиенте?

Как извлечь лучшие параметры из CrossValidatorModel

Я хочу найти параметры

Как передать файлы на главный узел?

Я уже написал код на python для реализации двоичной классификации, и я хочу распараллелить этот процесс классификации на основе разных файлов данных на моем ...