Apache Spark, добавьте вычисляемый столбец «CASE WHEN… ELSE…» в существующий DataFrame

Отчет о применении для application_ (состояние: ПРИНЯТО) никогда не заканчивается для Spark Submit (с Spark 1.2.0 на YARN)

Spark RDD записать в глобальный список

Как записать в глобальный список с rdd?

Как отфильтровать поток данных с помощью операции преобразования и внешнего RDD?

я использовал

Почему ноутбук Zeppelin не может подключиться к S3

Я установилдирижабль, на моей машине AWS EC2 для подключения к моей свече кластера.Версия Spark: Автономный: spark-1.2.1-bin-hadoop1.tgzЯ могу подключиться к...

Параллельное выполнение задания в Spark

Я использовал входные данные в следующем формате:

Проблемы с загрузкой из-за искры

Я пытаюсь запустить простую Java / программу Map / Reduce, используя spark over yarn (Cloudera Hadoop 5.2 на CentOS). Я пробовал это 2 разными способами. Пер...

Как избежать имен столбцов с дефисом в Spark SQL

Я импортировал файл json в Spark и преобразовал его в таблицу как

NoClassDefFoundError com.apache.hadoop.fs.FSDataInputStream при выполнении spark-shell

Я скачал предустановленную версию spark 1.4.0 без hadoop (с предоставленным пользователем Haddop). Когда я запустил команду spark-shell, я получил эту ошибку:

Проблема с UDF для столбца Векторов в PySpark DataFrame

У меня возникли проблемы с использованием UDF для столбца Векторы в PySpark, который можно проиллюстрировать здесь: