Результаты поиска по запросу "apache-spark"

1 ответ

Поток Spark на dataproc создает исключение FileNotFoundException

Когда я пытаюсь отправить потоковое задание в кластер Google DataProc, я получаю следующее исключение:

2 ответа

отставание оконной функции spark sql

Я смотрю на функцию слайда окна для Spark DataFrame в Spark SQL, Scala.У меня есть датафрейм с колонками Col1, Col1, Col1, date.

2 ответа

Spark Yarn Cluster против клиента - как выбрать, какой использовать?

Искрадокументы иметь следующий параграф, который описывает разницу между клиентом пряжи и кластером пряжи:Существует два режима развертывания, которые можно ...

ТОП публикаций

1 ответ

Spark dynamic DAG намного медленнее и отличается от жестко закодированного DAG

У меня есть операция в спарк, которая должна быть выполнена для нескольких столбцов в кадре данных. Как правило, есть 2 возможности указать такие операциижёстко

2 ответа

Можем ли мы обновить существующую модель в spark-ml / spark-mllib?

Мы используем spark-ml для построения модели на основе существующих данных. Новые данные поступают ежедневно.Есть ли способ, которым мы можем только читать н...

2 ответа

Итерация RDD и обновление изменяемой коллекции возвращает пустую коллекцию

Я новичок в Scala и Spark и хотел бы помочь понять, почему приведенный ниже код не дает желаемого результата.Я сравниваю две таблицыМоя желаемая схема вывода:

3 ответа

Как добавить в CSV-файл, используя df.write.csv в pyspark?

Я пытаюсь добавить данные в мой CSV-файл с помощью

1 ответ

Отчет Spark Hive ClassNotFoundException: com.ibm.biginsights.bigsql.sync.BIEventListener

2 ответа

Отчет Spark Hive pyspark.sql.utils.AnalysisException: таблица не найдена: XXX 'при запуске на кластере пряжи

2 ответа

Spark Dataframes - сокращение по ключу

Допустим, у меня есть такая структура данных, где ts - это временная метка