Результаты поиска по запросу "apache-spark"
вместо.
я есть фрейм данных с файлом паркета, и я должен добавить новый столбец с некоторыми случайными данными, но мне нужны эти случайные данные, отличающиеся друг...
Spark. Какой тип экземпляра предпочтителен для кластера AWS EMR? [закрыто]
Я использую некоторые алгоритмы машинного обучения на кластере EMR Spark. Мне интересно, какой тип экземпляра использовать, чтобы я мог получить оптимальное ...
на
я создаю банку своего приложения Spark и пытаюсь запустить его, используяspark-submitЯ получаю следующую ошибку. Это команда, которую я использовал для запуска. spark-submit --executor-memory 1g ...
спасибо @ user6910411
я есть дата столбец в моем SparkDataDrame который содержит несколько форматов строк. Я хотел бы привести их к DateTime. Два формата в моей колонке: mm/dd/yyyy; а такжеyyyy-mm-ddМое решение до сих пор состоит в том, чтобы использовать UDF для ...
Я хочу рассчитать разницу суммы за любые два месяца из таблицы.
дал фрейм данных в Spark по группам column1 и дате и рассчитал сумму. val table = df1.groupBy($"column1",$"date").sum("amount") Column1 |Date |Amount A |1-jul |1000 A |1-june |2000 A |1-May |2000 A |1-dec |3000 A |1-Nov |2000 B |1-jul |100 B ...
Модификация POM.xml помогла мне.
ользую HDP-2.6.3.0 с пакетом Spark2 2.2.0. Я пытаюсь написать потребителя Kafka, используя API-интерфейс Structured Streaming, но получаю следующую ошибку после отправки задания в кластер: Exception in thread "main" ...