Как установить память Apache Spark Executor

Как увеличить объем памяти, доступной для узлов Apache Spark Executor?У меня есть файл 2 ГБ, который подходит для загрузки в Apache Spark. На данный момент я...

apache spark, «не удалось создать ни одного локального каталога»

Я пытаюсь настроить Apache-Spark на небольшом автономном кластере (1 главный узел и 8 подчиненных узлов). Я установил «готовую» версию spark 1.1.0, созданную...

Вызов JDBC в impala / hive изнутри искровой работы и создание таблицы

Я пытаюсь написать искровую работу в scala, которая открыла бы соединение jdbc с Impala и позволила бы мне создать таблицу и выполнить другие операции.Как мн...

Что произойдет, если программа драйвера вылетит?

Я понимаю, как рабочие узлы отказоустойчивы, но что произойдет, если ваша драйверная программа аварийно завершится? (выключение питания / проблемы с памятью ...

Ошибка при использовании контекста Hive в spark: объект hive не является членом пакета org.apache.spark.sql

Я пытаюсь создать Hive Context, который наследуется от SQLContext.

Как работает функция pyspark mapPartitions?

Поэтому я пытаюсь изучить Spark, используя Python (Pyspark). Я хочу знать, как работает функция

Как получить элемент по индексу в Spark RDD (Java)

org.apache.spark.SparkException: задание прервано из-за сбоя этапа: задание из приложения

У меня проблема с запуском приложения Spark на отдельном кластере. (Я использую версию spark 1.1.0). Я успешно запускаю главный сервер по команде:

В чем разница между кешем и персистом?

Как найти максимальное значение в паре СДР?

У меня есть искровая пара RDD (ключ, количество) как показано ниже