На пути к ограничению большого RDD

В Apache Spark 2.0.0 возможно ли получить запрос из внешней базы данных (а не получить всю таблицу)?

Использование pyspark:

Как найти медиану в Apache Spark с API Python Dataframe?

Pyspark API предоставляет множество агрегатных функций, кроме медианы. Spark 2 поставляется с приблизительно Quantile, который дает приблизительные квантили,...

java.lang.OutOfMemoryError: невозможно получить 100 байт памяти, получено 0

Я запускаю Pyspark с Spark 2.0 в локальном режиме с помощью следующей команды:

Ошибка StackOverflow при применении pyspark ALS «рекомендуемые продукты для пользователей» (хотя доступен кластер> 300 ГБ оперативной памяти)

Ищите экспертизу, чтобы вести меня в проблеме ниже.Фон:Я пытаюсь начать работу с базовым скриптом PySpark, вдохновленнымэтот примерВ качестве инфраструктуры ...

Spark ML Pipeline вызывает java.lang.Exception: не удалось скомпилировать… Код… выходит за пределы 64 КБ

Используя Spark 2.0, я пытаюсь запустить простой VectorAssembler в ML-конвейере pyspark, например:

Искровая ошибка: ожидаемые нулевые аргументы для построения ClassDict (для numpy.core.multiarray._reconstruct)

У меня есть датафрейм в Spark, в котором один из столбцов содержит массив. Теперь я написал отдельный UDF, который преобразует массив в другой массив только ...

Искровой эквивалент IF тогда ELSE

Spark 2.0.0 читает данные JSON с помощью переменной схемы

Pyspark: показать гистограмму столбца фрейма данных

Во фрейме данных pandas я использую следующий код для построения гистограммы столбца: