Получение максимального количества итераций требует немного больше хитрости:

Сериализация пользовательского преобразователя с использованием Python для использования в конвейере Pyspark ML

Я нашел такое же обсуждение в разделе комментариевСоздайте собственный Трансформер в PySpark ML, но нет четкого ответа. Существует также неразрешенная JIRA, ...

лучше с

дал

Как изменить метаданные столбца в pyspark?

есть конвейер (2.0.1), состоящий из нескольких этапов преобразования объектов.Некоторые из этих этапов являются кодерами OneHot. Идея: классифицировать целоч...

Спасибо @pratiklodha за суть этого.

 это ключевое слово в Python.

могу обновить метаданные столбца в PySpark? У меня есть значения метаданных, соответствующие номинальному кодированию категориальных (строковых) функций, и я...

Какую версию ты используешь ? И что вторая упомянутая ошибка делает с первой? Для первого вы, вероятно, используете зарезервированное слово для имени столбца, например df.count

Apack Spark добавляет новую установленную ступень к выходной PipelineModel без повторной подгонки

я два отдельных

@Angelito Основная сериализация данных с паркетом уменьшит время перемешивания для разделов, потому что «сокращает» структуру данных

ользую Spark ML для запуска некоторых экспериментов ML и на небольшом наборе данных размером 20 МБ (Набор данных покера [http://archive.ics.uci.edu/ml/machine-learning-databases/poker/poker-hand-testing.data] ) и Случайный лес с сеткой ...

, например:

я есть Dataframe, который я хочу использовать для прогнозирования с существующей моделью. Я получаю сообщение об ошибке при использовании метода преобразования моей модели. Вот как я обрабатываю данные обучения. forecast.printSchema()Схема ...