Используя spark-submit, каково поведение опции --total-executor-cores?

Как запустить несколько заданий в одном Sparkcontext из разных потоков в PySpark?

Это понятно из документации Spark оПланирование внутри приложения:Внутри данного приложения Spark (экземпляр SparkContext) несколько параллельных заданий мог...

Изменение формы / поворот данных в Spark RDD и / или Spark DataFrames

У меня есть некоторые данные в следующем формате (RDD или Spark DataFrame):

Вычисление длительности путем вычитания двух столбцов даты и времени в строковом формате

У меня есть Spark Dataframe, который состоит из ряда дат:

Возможно ли получить текущие настройки контекста искры в PySpark?

Я пытаюсь найти путь к

Как Spark взаимодействует с CPython

Spark RDD записать в глобальный список

Как записать в глобальный список с rdd?

Как отфильтровать поток данных с помощью операции преобразования и внешнего RDD?

я использовал

Проблема с UDF для столбца Векторов в PySpark DataFrame

У меня возникли проблемы с использованием UDF для столбца Векторы в PySpark, который можно проиллюстрировать здесь:

Как настроить Pyspark в Python 3 с помощью spark-env.sh.template

Поскольку у меня есть эта проблема в моем ноутбуке ipython3, я думаю, что мне нужно как-то изменить «spark-env.sh.template».Исключение: Python в рабочем имее...