Результаты поиска по запросу "apache-spark"
Стратифицированный отбор проб в Искре
У меня есть набор данных, который содержит данные пользователя и покупки. Вот пример, где первый элемент - userId, второй - productId, а третий - логический.
IntelliJ Идея 14: не может разрешить искру символа
Я сделал зависимость от Spark, которая работала в моем первом проекте. Но когда я пытаюсь создать новый проект с помощью Spark, мой SBT не импортирует внешни...
Удалить искровой фрейм данных из кеша
Я использую Spark 1.3.0 с Python API. Преобразуя огромные кадры данных, я кэширую много DF для более быстрого выполнения;
Искра: Разница между произвольной записью, случайным разливом (памятью), случайным разливом (диском)?
У меня следующая искровая работа, пытаюсь сохранить все в памяти:
Как использовать искровой наивный байесовский классификатор для классификации текста с IDF?
Я хочу преобразовать текстовые документы в векторы функций, используя tf-idf, а затем обучить наивный алгоритм Байеса для их классификации.Я могу легко загру...
как изменить столбец Dataframe с типа String на тип Double в pyspark
У меня есть датафрейм с колонкой как String. Я хотел изменить тип столбца на тип Double в PySpark.Вот как я это сделал:
Как сохранить модели из ML Pipeline в S3 или HDFS?
Я пытаюсь сохранить тысячи моделей, выпущенных ML Pipeline. Как указано в ответеВот, модели могут быть сохранены следующим образом:
Как получить детали слова из TF Vector RDD в Spark ML Lib?
Я создал Term Frequency, используя
Записать данные в Redis из PySpark
В Scala мы бы написали RDD для Redis следующим образом:
Как справиться с категориальными особенностями с помощью spark-ml?
Как обрабатывать категориальные данные с