Запуск 3000+ моделей произвольных лесов по группам с помощью Spark MLlib Scala API

Я пытаюсь построить случайные модели леса по группам (School_ID, более 3 тысяч) на основе входного csv-файла большой модели с использованием Spark Scala API....

Fgrowth вычислительная ассоциация в pyspark vs scala

Понимание представления векторного столбца в Spark SQL

Прежде чем я использовал VectorAssembler () для объединения некоторых категориальных функций OneHotEncoded ... Мой фрейм данных выглядел так:

apache spark MLLib: как построить помеченные точки для строковых объектов?

Конвертация RDD в LabeledPoint

Если у меня есть RDD около 500 столбцов и 200 миллионов строк, и

Добавление двух RDD [mllib.linalg.Vector]

Spark DataFrame передает пустую строку в OneHotEncoder

Я импортирую файл CSV (используя spark-csv) в

Настройка формул расстояния для K-средних в Apache Spark Python

Сейчас я использую K-средства для кластеризации и отслеживанияэтот урок а такжеAPI.Но я хочу использовать пользовательскую формулу для расчета расстояний. Ит...

Spark MLlib - поезд Явное предупреждение

Ошибка зависимости Mllib

Я пытаюсь создать очень простое автономное приложение scala, используя Mllib, но при попытке вывести программу из строя появляется следующая ошибка: