Как использовать Scala и Python в одном проекте Spark?

Это возможно, чтобы трубаSpark RDD в Python?Потому что мне нужна библиотека Python для некоторых вычислений моих данных, но мой основной проект Spark основан...

Spark Streaming на EC2: Исключение в потоке «основной» java.lang.ExceptionInInitializerError

Я пытаюсь запустить spark-submit для файла JAR, который я создал. Когда я запускаю его локально на моей машине, он работает правильно, но при развертывании н...

Как восстановить СДР пар (ключ, значение) после того, как они были сохранены / прочитаны из текстового файла

Я сохранил мой RDD пар (ключ, значение) в текстовый файл, используя saveAsTextFile. После того, как я прочитал текстовый файл обратно, используя

Spark извлекает значения из строки

У меня есть следующий датафрейм

Как выразить столбец, имя которого содержит пробелы в Spark SQL

Мы попытались заключить имя столбца в квадратные скобки.

Преобразование RDD [org.apache.spark.sql.Row] в RDD [org.apache.spark.mllib.linalg.Vector]

Разбиение СДР на кортежи длины n

Я относительно новичок в Apache Spark и Python и мне было интересно, выполнимо ли что-то вроде того, что я собираюсь описать?У меня есть СДР в форме [м1, м2,...

Добавить пустой столбец в Spark DataFrame

Как уже упоминалось вмного другие места в Интернете добавить новый столбец в существующий DataFrame непросто. К сожалению, важно иметь эту функцию (даже если...

Первичные ключи с Apache Spark

У меня соединение JDBC с Apache Spark и PostgreSQL, и я хочу вставить некоторые данные в свою базу данных. Когда я использую

Spark - корреляционная матрица из файла рейтингов

Я довольно новичок в Scala и Spark и не могу создать корреляционную матрицу из файла рейтингов. Это похоже наэтот вопрос но у меня есть разреженные данные в ...