stackoverflow.com/a/48095339/8371915

я есть DataFrame с двумя столбцами: df = Col1 Col2 aaa bbb ccc aaaЯ хочу закодировать строковые значения в числовые значения. Мне удалось сделать это таким образом: import org.apache.spark.ml.feature.{OneHotEncoder, StringIndexer} val indexer1 ...

Как преобразовать RDD со столбцом SparseVector в DataFrame со столбцом как вектор

у меня естьРДД с кортежем значений (String, SparseVector), и я хочу создатьDataFrame с использованиемРДД, Чтобы получить (метка: строка, функции: вектор)Data...

Печать ClusterID и его элементов с помощью Spark KMeans algo.

Преобразование RDD [org.apache.spark.sql.Row] в RDD [org.apache.spark.mllib.linalg.Vector]

SPARK, ML, Tuning, CrossValidator: доступ к метрикам

Чтобы построить мультиклассовый классификатор NaiveBayes, я использую CrossValidator, чтобы выбрать лучшие параметры в моем конвейере:

Как запустить дерево решений Spark с категориальным набором функций, используя Scala?

Модель ALS - прогнозируемые оценки full_u * v ^ t * v очень высоки

Разница между искровыми векторами и неизменным вектором scala?

Я пишу проект для Spark 1.4 в Scala и в настоящее время преобразую исходные входные данные в

stackoverflow.com/questions/48744338/...

я есть два набора данных, первый из которых является большим эталонным набором данных, а из второго набора данных будет найдено лучшее соответствие из первого набора данных с помощью алгоритма MinHash. val dataset1 = ...

Можем ли мы обновить существующую модель в spark-ml / spark-mllib?

Мы используем spark-ml для построения модели на основе существующих данных. Новые данные поступают ежедневно.Есть ли способ, которым мы можем только читать н...