Как создать пустой DataFrame с указанной схемой?

Я хочу создать на

Пример Spark Word2Vec с использованием файла text8

Я пытаюсь запустить этот пример с apache.spark.org (код ниже и весь учебник здесь:https://spark.apache.org/docs/latest/mllib-feature-extraction.html) использ...

Пояснение метода складывания искры RDD

Я запускаю Spark-1.4.0, предварительно созданную для Hadoop-2.4 (в локальном режиме), чтобы вычислить сумму квадратов DoubleRDD. Мой код Scala выглядит так

Не в состоянии объявить аккумулятор типа String

Я пытаюсь определить переменную аккумулятора типа String в оболочке Scala (драйвер), но получаю следующую ошибку: -

Как напечатать переменную аккумулятора из задачи (кажется, «работает» без вызова метода значения)?

Как получить доступ к таблицам RDD через Spark SQL как механизм распределенных запросов JDBC?

В нескольких публикациях на stackoverflow есть ответы с частичной информацией о том, как получить доступ к таблицам RDD через Spark SQL как механизм распреде...

Spark выдает ошибку StackOverflowError при обучении с использованием ALS

При попытке обучить модели машинного обучения с использованием ALS в MLLib Spark я продолжал получать ошибку StackoverflowError. Вот небольшой пример трассир...

pyspark выбирает подмножество файлов с помощью regex / glob из s3

Ленивый foreach на Spark RDD

Разреженный вектор против плотного вектора