Чтение огромной коллекции MongoDB от Spark с помощью Worker

Я хочу прочитать огромную коллекцию MongoDB от Spark, создать постоянный RDD и провести дальнейший анализ данных на нем.Есть ли способ, чтобы я мог читать да...

Как определить схему для пользовательского типа в Spark SQL?

Следующий пример кода пытается поместить некоторые объекты case в фрейм данных. Код включает в себя определение иерархии объектов case и класса case, использ...

Где spark ищет текстовые файлы?

Преобразование даты рождения в возраст в API Spark Dataframe

Это кажется простым, но я не мог найти ответ. Я пытаюсь преобразовать столбец даты рождения в указанном ниже формате даты в формат даты в API Spark Dataframe...

Spark: вещание Джексона ObjectMapper

У меня есть приложение spark, которое читает строки из файлов и пытается десериализовать их, используя Джексона. Чтобы этот код заработал, мне нужно было опр...

Как обрабатывать RDD с использованием класса Python?

Я реализую модель в Spark как класс Python, и каждый раз, когда я пытаюсь сопоставить метод класса с RDD, он терпит неудачу. Мой реальный код более сложный, ...

Как реализовать Like-условие в SparkSQL?

Как мне написать оператор SQL для достижения цели, как следующий оператор:

Как получить данные из определенного раздела в Spark RDD?

Я хочу получить доступ к данным из определенного раздела в Spark RDD. Я могу получить адрес раздела следующим образом:

Работает ли предикатный режим pushdown с JDBC?

В соответствии сэтотCatalyst применяет логические оптимизации, такие как предикатное нажатие. Оптимизатор может выдвигать предикаты фильтра вниз в источник д...

PySpark: взять среднее значение столбца после использования функции фильтра

Я использую следующий код, чтобы получить средний возраст людей, чья зарплата превышает определенный порог.