Как назначить уникальные смежные номера элементам в Spark RDD

У меня есть набор данных

Запись в несколько выходов по ключу Spark - одно задание Spark

Как вы можете писать на несколько выходов в зависимости от ключа, используя Spark в одном задании.Связанные с:Запись в несколько выходов по ключу Scalding Ha...

Как прочитать несколько текстовых файлов в одном RDD?

Я хочу прочитать несколько текстовых файлов из местоположения hdfs и выполнить сопоставление с ним в итерации, используя spark.

java + spark: org.apache.spark.SparkException: задание прервано: задача не сериализуема: java.io.NotSerializableException

Я новичок в спарк, и пытался запустить пример JavaSparkPi.java, он работает хорошо, но, поскольку я должен использовать это в другом Java, я копирую все вещи...

Как упростить развертывание Jar-файла в Spark Cluster в автономном режиме?

У меня есть небольшой кластер с 3 машинами и еще одна машина для разработки и тестирования. При разработке я установил

Использование reduByKey в Apache Spark (Scala)

У меня есть список кортежей типа: (идентификатор пользователя, имя, количество).Например,

Как прочитать входные данные из S3 в кластерном приложении Spark Streaming EC2

Я пытаюсь, чтобы приложение Spark Streaming считывало его входные данные из каталога S3, но я получаю это исключение после запуска его с помощью сценария spa...

Записывать и читать необработанные байтовые массивы в Spark - используя файл последовательности SequenceFile

Как эффективный способ обновить стоимость в СДР Spark?

Как заставить Spark Streaming записывать свои выходные данные, чтобы Impala могла их прочитать?

У меня есть следующая проблема с Spark Streaming API. В настоящее время я передаю входные данные через Flume в Spark Streaming, с помощью которого я планирую...