Resultados de la búsqueda a petición "apache-spark-mllib"
Spark MLlib - train Advertencia explícita
Sigo viendo estas advertencias cuando usotrainImplicit: WARN TaskSetManager: Stage 246 contains a task of very large size (208 KB). The maximum recommended task size is 100 KB.Y luego el tamaño de la tarea comienza a aumentar. traté de ...
¿Cómo transformar una variable categórica en Spark en un conjunto de columnas codificadas como {0,1}?
Estoy tratando de realizar una regresión logística (LogisticRegressionWithLBFGS) con Spark MLlib (con Scala) en un conjunto de datos que contiene variables categóricas. Descubrí que Spark no pudo trabajar con ese tipo de variable. En R hay una ...
Diferencia entre org.apache.spark.ml.classification y org.apache.spark.mllib.classification
Estoy escribiendo una aplicación de chispa y me gustaría usar algoritmos en MLlib. En el documento API encontré dos clases diferentes para el mismo algoritmo. Por ejemplo, hay una LogisticRegression en org.apache.spark.ml.classification ...
';' esperado pero 'importado' encontrado - Scala y Spark
Estoy tratando de trabajar con Spark y Scala, compilando una aplicación independiente. No sé por qué recibo este error: topicModel.scala:2: ';' expected but 'import' found. [error] import org.apache.spark.mllib.clustering.LDA [error] ^ [error] ...
Cómo actualizar Spark MatrixFactorizationModel para ALS
Construyo un sistema de recomendación simple para MovieLens DB inspirado ...
Qué es el rango en ALS Algoritmo de aprendizaje automático en Apache Spark Mllib
Quería probar un ejemplo del algoritmo de aprendizaje automático ALS. Y mi código funciona bien, sin embargo, no entiendo el parámetrorank utilizado en algoritmo Tengo el siguiente código en Java // Build the recommendation model using ALS int ...
De DataFrame a RDD [La LabelPoint]
Estoy tratando de implementar un clasificador de documentos usando Apache Spark MLlib y tengo algunos problemas para representar los datos. Mi código es el siguiente: import org.apache.spark.sql.{Row, SQLContext} ...
Spark MlLib regresión lineal (mínimos cuadrados lineales) dando resultados aleatorios
Soy nuevo en chispa y aprendizaje automático en general. He seguido con éxito algunos de los tutoriales de Mllib, no puedo hacer que este funcione: Encontré el código de muestra ...
¿Diferencia entre los vectores de chispa y el vector inmutable de escala?
Estoy escribiendo un proyecto para Spark 1.4 en Scala y actualmente estoy entre convertir mis datos de entrada iniciales enspark.mllib.linalg.Vectors yscala.immutable.Vector con el que luego quiero trabajar en mi algoritmo. ¿Podría alguien ...
¿Cómo agruparByKey un RDD, con DenseVector como clave, en Spark?
He creado un RDD con cada miembro como un par de valores clave con la clave como unDenseVector y valorar ser unint. p.ej. [(DenseVector([3,4]),10), (DenseVector([3,4]),20)]Ahora quiero agrupar por la clavek1: DenseVector([3,4]). Espero que el ...