Resultados da pesquisa a pedido "apache-spark-mllib"
Multiplicação de matrizes no Apache Spark [fechado]
Estou tentando executar a multiplicação de matrizes usando Apache Spark e Java. Eu tenho 2 perguntas principais: Como criar RDD que pode representar matriz no Apache Spark?Como multiplicar dois desses RDDs?
Tornando os recursos dos dados de teste iguais aos dados do trem após a seleção dos recursos no spark
Estou trabalhando no Scala. Tenho uma grande pergunta: o ChiSqSelector parece reduzir a dimensão com êxito, mas não consigo identificar quais recursos foram reduzidos e o que permaneceu. Como posso saber quais recursos foram ...
Como converter um RDD com uma coluna SparseVector em um DataFrame com uma coluna como Vector
eu tenho umRDDcom uma tupla de valores (String, SparseVector) e quero criar um Quadro de dadosusando oRDD. Para obter um (label: string, features: vector) Quadro de dadosque é o esquema exigido pela maioria das bibliotecas do algoritmo ml. Eu sei ...
Qual é a diferença entre os pacotes Spark ML e MLLIB
Notei que existem doisLinearRegressionModel classes no SparkML, uma na ML e outra naMLLib pacote. Esses dois são implementados de maneira bastante diferente - por exemplo, o deMLLib implementaSerializable, enquanto o outro não. By the way ame é ...
IDs não inteiros no Spark MLlib ALS
Eu gostaria de usar val ratings = data.map(_.split(',') match { case Array(user,item,rate) => Rating(user.toInt,item.toInt,rate.toFloat) }) val model = ALS.train(ratings,rank,numIterations,alpha)No entanto, os dados do usuário que eu recebo são ...
apache spark MLLib: como construir pontos rotulados para recursos de string?
Estou tentando criar um classificador NaiveBayes com o MLLib do Spark, que usa como entrada um conjunto de documentos. Gostaria de colocar algumas coisas como recursos (ou seja, autores, tags explícitas, palavras-chave implícitas, categoria), ...
Diferença entre Spark Vetores e Scala imutável Vector?
Estou escrevendo um projeto para o Spark 1.4 no Scala e atualmente estou entre converter meus dados de entrada iniciais emspark.mllib.linalg.Vectors escala.immutable.Vector com quem mais tarde quero trabalhar no meu algoritmo. Alguém poderia ...
Como executo a árvore de decisão do Spark com um conjunto de recursos categóricos usando o Scala?
Eu tenho um conjunto de recursos com um categoricalFeaturesInfo correspondente: Map [Int, Int]. No entanto, para a minha vida, não consigo descobrir como devo fazer com que a classe DecisionTree funcione. Ele não aceitará nada, mas ...
Spark 1.5.1, Probabilidade de floresta aleatória MLLib
Estou usando o Spark 1.5.1 com MLLib. Criei um modelo de floresta aleatória usando o MLLib, agora use o modelo para fazer previsões. Eu posso encontrar a categoria de previsão (0,0 ou 1,0) usando a função .predict. No entanto, não consigo ...
Como melhorar o resultado da minha recomendação? Estou usando o Spark ALS implícito
Primeiro, tenho um histórico de uso do aplicativo do usuário. Por exemplo: user1, app1, 3 (horário de lançamento) user2, app2, 2 (horário de lançamento) user3, app1, 1 (horário de lançamento) Eu tenho basicamente duas demandas: Recomende um ...