Как рассчитать накопительную сумму с помощью Spark

Spark UI показывает 0 ядер даже при настройке ядер в приложении

У меня возникла странная проблема с запуском приложения из основного URL-адреса Spark, когда пользовательский интерфейс неопределенно сообщает «СОСТОЯНИЕ» «О...

Spark: разница семантики между Reduce и ReduceByKey

В документации Spark говорится, что метод RDDs

Найти максимальный ряд на группу в Spark DataFrame

Я пытаюсь использовать кадры данных Spark вместо RDD, поскольку они выглядят более высокоуровневыми, чем RDD, и, как правило, создают более читаемый код.В 14...

Как создать собственный трансформер из UDF?

Я пытался создать и сохранитьТрубопровод с нестандартными этапами. Мне нужно добавить

Spark Streaming: Как я могу добавить больше разделов в мой DStream?

У меня есть потоковое приложение, которое выглядит так:

spark.ml StringIndexer выбрасывает «Невидимая метка» в fit ()

Применение функции к столбцу Spark Dataframe

Исходя из R, я привык легко выполнять операции над столбцами. Есть ли простой способ взять эту функцию, которую я написал в Scala

Трансляция не происходит при присоединении к фреймам данных в Spark 1.6

Ниже приведен пример кода, который я запускаю. при запуске этой искровой работы соединения Dataframe происходят с использованием sortmergejoin вместо broadca...

Неожиданные результаты в Spark MapReduce

Я новичок в Spark и хочу понять, как MapReduce работает под капотом, чтобы убедиться, что я правильно его использую.Эта почта предоставил отличный ответ, но ...