Приложение Spark убивает исполнителя

Я запускаю спарк кластер в автономном режиме и приложение, использующее спарк-подчинение. В разделе сценического интерфейса spark I я обнаружил этап исполнен...

Как преобразовать JavaPairInputDStream в DataSet / DataFrame в Spark

Я пытаюсь получить потоковые данные отКафка, В этом процессе я могу получать и хранить потоковые данные вJavaPairInputDStream, Теперь мне нужно проанализиров...

Как использовать DataFrame.explode с пользовательским UDF для разделения строки на подстроки?

Я использую Spark1,5.У меня есть датафрейм

Spark: транспонировать фрейм данных без агрегирования

Я просмотрел ряд вопросов в Интернете, но они, похоже, не соответствуют тому, чего я пытаюсь достичь.Я использую Apache Spark 2.0.2 со Scala.У меня есть дата...

Какой разъем HBase для Spark 2.0 следует использовать?

Наш стек состоит из Google Data Proc (Spark 2.0) и Google BigTable (HBase 1.2.0), и я ищу разъем для работы с этими версиями.Spark 2.0 и новая поддержка Data...

GroupByKey и создавать списки значений pyspark sql dataframe

Итак, у меня есть искровой датафрейм, который выглядит так:

Как написать в PostgreSQL hstore, используя набор данных Spark

Я пытаюсь записать набор данных Spark в существующую таблицу postgresql (не могу изменить метаданные таблицы, такие как типы столбцов). Один из столбцов этой...

Ядро искры и параллелизм задач

У меня очень простой вопрос о свечах. Я обычно запускаю искровые работы, используя 50 ядер. Просматривая ход выполнения задания, в большинстве случаев он пок...

SparklyR удаляет таблицу из контекста Spark

Применить функцию к одному столбцу CSV в Spark

Используя Spark, я читаю CSV и хочу применить функцию к столбцу в CSV. У меня есть код, который работает, но он очень хакерский. Как правильно это сделать?Мо...