Spark Word2vec векторная математика

Spark: порог регрессионной модели и точность

Настройка формул расстояния для K-средних в Apache Spark Python

Сейчас я использую K-средства для кластеризации и отслеживанияэтот урок а такжеAPI.Но я хочу использовать пользовательскую формулу для расчета расстояний. Ит...

SPARK, ML, Tuning, CrossValidator: доступ к метрикам

Чтобы построить мультиклассовый классификатор NaiveBayes, я использую CrossValidator, чтобы выбрать лучшие параметры в моем конвейере:

Задание Spark Mlib FPGrowth завершается с ошибкой памяти

У меня довольно простой вариант использования, но потенциально очень большой набор результатов. Мой код выполняет следующие действия (в оболочке pyspark):

Как улучшить результат моей рекомендации? Я использую искровой ALS неявный

Преобразование векторного столбца в кадре данных обратно в столбец массива

У меня есть датафрейм с двумя столбцами, один из которых (называемый dist) является плотным вектором. Как я могу преобразовать его обратно в массив столбцов ...

Приведение характеристик тестовых данных в соответствие с данными поезда после выбора элементов в искре

Я работаю над Scala. У меня большой вопрос, кажется, что ChiSqSelector успешно уменьшает размерность, но я не могу определить, какие функции были уменьшены, ...

Как оценить модель spark.ml без DataFrames / SparkContext?

С Spark MLLib я бы построил модель (например,

Spark ML - Сохранить OneVsRestModel