В качестве альтернативы, как найти количество дней, прошедших между двумя последующими действиями пользователя, с помощью pySpark:

я есть такие данные:

Оно работает! Спасибо!

я есть SparkDataFrame в pyspark (2.1.0), и я хочу получить имена только числовых столбцов или только строковых столбцов.Например, это схема моего DF:

 последняя итерация этого вопроса.

родолжение отэтот вопрос. Я импортировал следующие банки в свой блокнот:

 это ключевое слово в Python.

могу обновить метаданные столбца в PySpark? У меня есть значения метаданных, соответствующие номинальному кодированию категориальных (строковых) функций, и я...

Какую версию ты используешь ? И что вторая упомянутая ошибка делает с первой? Для первого вы, вероятно, используете зарезервированное слово для имени столбца, например df.count

Другой ответ scala будет выглядеть так:

я есть спарк dataframe и вот схема:

Режим клиента может быть установлен в среде, как показано ниже

запускаемые мной искры не будут выполнены со следующим сообщением об ошибке17.06.16 11:10:43 WARN cluster.YarnScheduler: Начальное задание не приняло никаких...

https://github.com/ZuInnoTe/spark-hadoopoffice-ds

аю файл Excel, используяcom.crealytics.spark.excel пакет. Ниже приведен код для чтения файла Excel в спарк Java.

@Angelito Основная сериализация данных с паркетом уменьшит время перемешивания для разделов, потому что «сокращает» структуру данных

ользую Spark ML для запуска некоторых экспериментов ML и на небольшом наборе данных размером 20 МБ (Набор данных покера [http://archive.ics.uci.edu/ml/machine-learning-databases/poker/poker-hand-testing.data] ) и Случайный лес с сеткой ...

Используйте словарь для заполнения значений определенных столбцов:

я есть следующий образец DataFrame: a | b | c | 1 | 2 | 4 | 0 | null | null| null | 3 | 4 |И я хочу заменить нулевые значения только в первых 2 столбцах - столбцы «а» и «б»: a | b | c | 1 | 2 | 4 | 0 | 0 | null| 0 | 3 | 4 |Вот код для создания ...