Как запустить несколько заданий в одном Sparkcontext из разных потоков в PySpark?

Это понятно из документации Spark оПланирование внутри приложения:Внутри данного приложения Spark (экземпляр SparkContext) несколько параллельных заданий мог...

Изменение формы / поворот данных в Spark RDD и / или Spark DataFrames

У меня есть некоторые данные в следующем формате (RDD или Spark DataFrame):

Как развернуть DataFrame?

DataFrame-ified zipWithIndex

Я пытаюсь решить давнюю проблему добавления порядкового номера в набор данных. Я работаю с DataFrames, и, похоже, не существует DataFrame, эквивалентного

Вычисление длительности путем вычитания двух столбцов даты и времени в строковом формате

У меня есть Spark Dataframe, который состоит из ряда дат:

Как отсортировать по столбцу в порядке убывания в Spark SQL?

Я старался

Как убрать круглые скобки вокруг записей, когда saveAsTextFile на RDD [(String, Int)]?

я использую

Как распределить больше исполнителей на одного работника в автономном кластерном режиме?

Я использую Spark 1.3.0 в кластере из 5 рабочих узлов с 36 ядрами и 58 ГБ памяти каждый. Я хотел бы настроить автономный кластер Spark с множеством исполните...

Spark Python Авро Кафка Десериализатор

Я создал поток kafka в приложении python spark и могу анализировать любой текст, который проходит через него.

Сбой Spark Submit с java.lang.NoSuchMethodError: scala.Predef $. $ Conforms () Lscala / Predef $$ less $ colon $ less;

Я использую предсоборную версию spark 1.3.1 spark-1.3.1-bin-hadoop2.6.tgzИсключение в потоке "main" java.lang.NoSuchMethodError: scala.Predef $. $ ...