Spark Streaming DStream RDD, чтобы получить имя файла

Искра потокового

Отладка Spark-приложений

Я пытаюсь отладить приложение Spark в кластере, используя мастер и несколько рабочих узлов. Я успешно настроил главный и рабочий узлы с помощью автономного д...

Обновление столбца данных в спарк

Глядя на новый API-интерфейс Spark Dataframe, неясно, можно ли изменить столбцы DataFrame.Как бы я изменил значение в строке

RDD.union против SparkContex.union

Искробезопасность: что я делаю не так?

Я обрабатываю данные с помощью spark, и он работает с дневной стоимостью данных (40G), но не работает сООМ на неделю данных:

Можно ли использовать json4s 3.2.11 с Spark 1.3.0?

Сумасшедший: метод RDD.zip ()

я простообнаруженный

Apache-Spark: для чего нужна карта (_._ 2)?

Я прочитал исходный код проекта, нашел:

org.apache.spark.SparkException: задача не сериализуема

Это пример рабочего кода:

Как сгруппировать по нескольким клавишам в спарк?