Resultados de la búsqueda a petición "apache-spark-mllib"
Apache Spark - MlLib - Filtrado colaborativo
Estoy tratando de usar MlLib para mi filtrado coloborativo. Me encuentro con el siguiente error en mi programa Scala cuando lo ejecuto en Apache Spark 1.0.0. 14/07/15 16:16:31 WARN NativeCodeLoader: Unable to load native-hadoop library for your ...
PCA en Spark MLlib y Spark ML
Spark ahora tiene dos bibliotecas de aprendizaje automático: Spark MLlib y Spark ML. Se superponen un poco en lo que se implementa, pero según tengo entendido (como una persona nueva en todo el ecosistema de Spark) Spark ML es el camino a seguir ...
Cómo convertir un mapa a RDD de Spark
Tengo un conjunto de datos que tiene la forma de algunos mapas anidados, y su tipo Scala es: Map[String, (LabelType,Map[Int, Double])]El primeroString La clave es un identificador único para cada muestra, y el valor es una tupla que contiene ...
Personalizar la distancia del formulario K-means en Apache Spark Python
Ahora estoy usando K-means para agrupar y seguireste tutorial [http://spark.apache.org/docs/latest/mllib-clustering.html]yAPI [https://spark.apache.org/docs/1.0.0/api/python/pyspark.mllib.clustering-module.html] . Pero quiero usar una fórmula ...
Spark Word2vec matemáticas vectoriales
Estaba mirando elejemplo [http://spark.apache.org/docs/latest/mllib-feature-extraction.html#example]del sitio de Spark para Word2Vec: val input = sc.textFile("text8").map(line => line.split(" ").toSeq) val word2vec = new Word2Vec() val model = ...
¿Cómo entender el tipo de formato de libsvm de Spark MLlib?
Soy nuevo para aprender Spark MLlib. Cuando estaba leyendo sobre el ejemplo de regresión logística binomial, no entiendo el tipo de formato de "libsvm". ( Regresión logística ...
El valor de la configuración "spark.yarn.executor.memoryOverhead"?
El valor despark.yarn.executor.memoryOverhead en un trabajo de Spark con YARN debe asignarse a la aplicación o solo al valor máximo?
Cómo actualizar Spark MatrixFactorizationModel para ALS
Construyo un sistema de recomendación simple para MovieLens DB inspirado ...
¿Cómo obtener detalles de palabras de TF Vector RDD en Spark ML Lib?
He creado la frecuencia de término usandoHashingTF en chispa Tengo el término frecuencias usandotf.transform por cada palabra Pero los resultados se muestran en este formato. [<hashIndexofHashBucketofWord1>,<hashIndexofHashBucketofWord2> ...
Spark MLlib LDA, ¿cómo inferir la distribución de temas de un nuevo documento invisible?
Estoy interesado en aplicar el modelado de temas LDA usando Spark MLlib. He comprobado el código y las explicaciones enaquí [http://spark.apache.org/docs/latest/mllib-clustering.html#latent-dirichlet-allocation-lda] pero no pude encontrar cómo ...