Я получал эту ошибку, пытаясь запустить pyspark и spark-shell, когда моя HDFS не была запущена.

@Frankie хорошо, теперь все понятно, как это работает, отлично :)

Вот

 и происходит потеря исполнителя.

Вам просто нужно преобразовать ваш набор данных обратно в фрейм данных с именем столбца «значение», так как kafka требует пары ключ-значение, в которой значение является обязательным полем

Спасибо, в конце концов, я использовал coallesce: df.withColumn ("B", coalesce (df.B, df.A)) Но ваш ответ полезен в случае, если кто-то еще попробует это.

, Во всяком случае, я обновил оригинальный вопрос.

спасибо @Ashraful, это сработало.

приведен блок кода и получена ошибка

Установите последнюю версию devel с GitHub и найдите

я проблема с разделением результатов моего случайного леса, созданного Sparklyr.Я использую следующий код для генерации модели, которая предсказывает {0 | 1}...

Как повысить производительность медленных заданий Spark с использованием соединения DataFrame и JDBC?

ользую спарк в режиме кластера и читаю данные из RDBMS через JDBC.Согласно искредокументыэти параметры разделения описывают, как разделить таблицу при паралл...