Как заставить Apache искру игнорировать точки в запросе?

Учитывая следующий файл JSON:

Добавление столбца строк в список столбцов в Spark Dataframe

У меня есть датафрейм Spark с несколькими столбцами. Я хочу добавить столбец в фрейм данных, который представляет собой сумму определенного количества столбц...

Как рассчитать процентиль столбца в DataFrame в искре?

Я пытаюсь вычислить процентиль столбца в DataFrame? Я не могу найти любую функцию% процентиля в приложении агрегации Spark.Например, в Hive у нас есть процен...

Как импортировать несколько CSV-файлов в одной загрузке?

Предположим, у меня есть определенная схема для загрузки 10 CSV-файлов в папку. Есть ли способ автоматически загружать таблицы с помощью Spark SQL. Я знаю, ч...

Сравнение столбцов в Писпарке

Я работаю над PySpark DataFrame с n столбцами. У меня есть набор из m столбцов (m <n), и моя задача состоит в том, чтобы выбрать столбец с максимальными з...

PySpark: несколько условий в предложении когда

Я хотел бы изменить значения ячеек столбца данных (Возраст), где в настоящее время он пуст, и я сделал бы это только в том случае, если другой столбец (Выжив...

получить более 20 строк и отобразить полное значение столбца в spark-shell

я использую

Агрегирование нескольких столбцов с пользовательской функцией в Spark

Разделение на несколько столбцов в Spark SQL

С оконными функциями Spark SQL мне нужно разделить на несколько столбцов для выполнения моих запросов данных, как показано ниже:

Кафка разделов разделов к Spark streaming

У меня есть несколько вариантов использования, которые я хотел бы прояснить, о разделении тем Kafka -> использование ресурсов потоковой передачи.Я использ...