Resultados da pesquisa a pedido "apache-spark-mllib"
Adição de dois RDD [mllib.linalg.Vector]
Eu preciso da adição de duas matrizes que são armazenadas em dois arquivos. O conteúdo delatest1.txt elatest2.txt tem o próximo str: 1 2 3 4 5 6 7 8 9Estou lendo esses arquivos da seguinte maneira: scala> val rows = ...
Spark MLlib - trainImplicit warning
Eu continuo vendo esses avisos ao usartrainImplicit: WARN TaskSetManager: Stage 246 contains a task of very large size (208 KB). The maximum recommended task size is 100 KB.E então o tamanho da tarefa começa a aumentar. eu tentei ...
Como transformar uma variável categórica no Spark em um conjunto de colunas codificadas como {0,1}?
Estou tentando executar uma regressão logística (LogisticRegressionWithLBFGS) com Spark MLlib (com Scala) em um conjunto de dados que contém variáveis categóricas. Descobri que o Spark não foi capaz de trabalhar com esse tipo de variável. Em R, ...
Diferença entre org.apache.spark.ml.classification e org.apache.spark.mllib.classification
Estou escrevendo um aplicativo spark e gostaria de usar algoritmos no MLlib. No documento da API, encontrei duas classes diferentes para o mesmo algoritmo. Por exemplo, há um LogisticRegression em org.apache.spark.ml.classification e também ...
';' esperado, mas 'importação' encontrada - Scala e Spark
Estou tentando trabalhar com o Spark e o Scala, compilando um aplicativo independente. Não sei por que estou recebendo esse erro: topicModel.scala:2: ';' expected but 'import' found. [error] import org.apache.spark.mllib.clustering.LDA [error] ^ ...
Como atualizar o Spark MatrixFactorizationModel para ALS
Eu construo um sistema simples de recomendação para o MovieLens DB inspirado ...
Qual é a classificação no algoritmo de aprendizado de máquina do ALS no Apache Spark Mllib
Eu queria experimentar um exemplo do algoritmo de aprendizado de máquina do ALS. E meu código funciona bem, no entanto eu não entendo parâmetrorank usado no algoritmo. Eu tenho o seguinte código em java // Build the recommendation model using ...
Do DataFrame para o RDD [LabeledPoint]
Estou tentando implementar um classificador de documentos usando o Apache Spark MLlib e estou tendo alguns problemas para representar os dados. Meu código é o seguinte: import org.apache.spark.sql.{Row, SQLContext} ...
Regressão linear Spark MlLib (mínimos quadrados lineares) fornecendo resultados aleatórios
Sou novo no Spark e no Machine Learning em geral. Segui com sucesso alguns dos tutoriais do Mllib, não consigo fazer funcionar este: Encontrei o código de exemplo ...
Diferença entre Spark Vetores e Scala imutável Vector?
Estou escrevendo um projeto para o Spark 1.4 no Scala e atualmente estou entre converter meus dados de entrada iniciais emspark.mllib.linalg.Vectors escala.immutable.Vector com quem mais tarde quero trabalhar no meu algoritmo. Alguém poderia ...