Dataframe для набора данных, который имеет тип Any

Недавно я перешел с Spark 1.6 на Spark 2.X, и я хотел бы перейти - по возможности - с Dataframes на наборы данных. Я пробовал такой код

Вернуть Seq [Row] из UDF Spark-Scala

Я использую Spark со Scala для обработки данных. У меня есть данные XML, сопоставленные с dataframe. Я передаю строку в качестве параметра в UDF и пытаюсь из...

Я надеюсь, что это помогает

я есть смешанный тип данных. Я читаю этот фрейм данных из таблицы улья, используя

Искра Исключение при преобразовании таблицы MySQL в паркет

Я пытаюсь преобразовать удаленную таблицу MySQL в файл паркета, используя spark 1.6.2.Процесс выполняется в течение 10 минут, заполняя память, затем начинает...

Как нарезать и суммировать элементы столбца массива?

я бы хотел

Вот версия Pyspark

ли эквивалент функции плавления панд в Apache Spark в PySpark или хотя бы в Scala?Я до сих пор выполнял образец набора данных в Python, и теперь я хочу испол...

Набор данных Spark 2.0 против DataFrame

ение этой нулевой ошибки в spark Dataset.filterВход CSV:

@mathieu ОК. Ты прав. Это могло бы быть поддержано, это не дизайн. Обратите внимание, что Spark 2.3 поставляется с другим потоковым движком (который может изменить кеширование).

@rajNishKuMar Как правило - если что-то в формате простого текста, который не предоставляет схему, он не налагает никаких ограничений.

исал следующий код в Scala и Python, однако возвращаемый DataFrame, по-видимому, не применяет ненулевые поля в моей схеме, которую я применяю.

 будет суммировать всю последовательность {0, 1} перед текущей строкой. Это правда?

я есть некоторые данные, которые я хочу сгруппировать по определенному столбцу, а затем объединить ряд полей на основе скользящего временного окна из группы....