Как рассчитать медиану в искре sqlContext для столбца типа данных double

Я дал образец таблицы. Я хочу получить медиану из столбца «значение» для каждого столбца «источник» группы. Где столбец источника имеет значение типа String ...

Как преобразовать столбец WrappedArray в фрейме данных spark в строки?

Я пытаюсь преобразовать столбец, содержащий Array [String] в String, но я постоянно получаю эту ошибку

Как применить функцию к столбцу Spark DataFrame?

Spark Dataframes UPSERT для таблицы Postgres

Я использую Apache Spark DataFrames, чтобы соединить два источника данных и получить результат как другой DataFrame. Я хочу записать результат в другую табли...

Почему мой Spark работает медленнее, чем чистый Python? Сравнение производительности

Spark 1.6: java.lang.IllegalArgumentException: spark.sql.execution.id уже установлен

Я использую spark 1.6 и столкнулся с проблемой выше, когда я запускаю следующий код:

Как рассчитать накопительную сумму, используя sqlContext

Я знаю, что мы можем использоватьОконная функция в писпарке рассчитать накопленную сумму. Но Window поддерживается только в HiveContext, а не в SQLContext. М...

Раздел DataFrameBy в один файл Parquet (на раздел)

UDF Pyspark DataFrame в текстовом столбце

Я пытаюсь очистить некоторые тексты НЛП от некоторых столбцов Unicode в PySpark DataFrame. Я пробовал в Spark 1.3, 1.5 и 1.6 и, похоже, не могу заставить вещ...

Spark: добавить столбец в dataframe условно

Я пытаюсь взять свои входные данные: