SparkContext не сериализуется внутри объекта-компаньона

В настоящее время я пытаюсь расширить приложение машинного обучения, которое использует Scala и Spark. Я использую структуру предыдущего проекта от Дитериха ...

Пояснение метода складывания искры RDD

Я запускаю Spark-1.4.0, предварительно созданную для Hadoop-2.4 (в локальном режиме), чтобы вычислить сумму квадратов DoubleRDD. Мой код Scala выглядит так

Как напечатать переменную аккумулятора из задачи (кажется, «работает» без вызова метода значения)?

Как создать пустой DataFrame с указанной схемой?

Я хочу создать на

Не в состоянии объявить аккумулятор типа String

Я пытаюсь определить переменную аккумулятора типа String в оболочке Scala (драйвер), но получаю следующую ошибку: -

Получите все тело HttpResponse в виде строки с помощью Akka-Streams HTTP

Использование искрового DataFrame «как» метод

Ошибка «Соединение отказано» при запуске Spark Streaming на локальном компьютере

Я знаю, что уже есть много тем, связанных с отказом от потокового соединения. Но большинство из них в Linux или, по крайней мере, указывают на HDFS. Я запуск...

Преобразование Map [String, Any] в класс case с использованием Shapeless

ВопросВот спрашивает о сопоставлении класса дела с картой [String, Any]. Мне было интересно, что будет наоборот, преобразование Map [String, Any] в case-клас...

Конвертация RDD в LabeledPoint

Если у меня есть RDD около 500 столбцов и 200 миллионов строк, и