приятное объяснение!

аюсь перераспределить DataFrame в соответствии с колонкой DataFrame

Не волнуйтесь. Было бы интересно услышать, как вы поживаете, для дальнейшего использования. Только если вы получите свободную минуту: о)

Я не думаю, что || работает. Вместо этого используйте:

Так что мои проблемы были с неправильным разрешением имени хоста для процесса драйвера

Я надеюсь, что это помогает

я есть смешанный тип данных. Я читаю этот фрейм данных из таблицы улья, используя

Получение максимального количества итераций требует немного больше хитрости:

 для обеспечения качественного ответа.

Ваше решение намного лучше. Не нашли, что мы можем получить StructType из StructField с dataType из документов pyspark

 вам придется сделать это вручную, например с

Я встретил ту же проблему и решил ее в соответствии с вашим ответом. Спасибо.

я возникла ситуация, когда spark может транслировать и получать сообщения только из одного раздела темы 2-patition Kafka.Мои темы: