Resultados de la búsqueda a petición "apache-spark"
Apache Spark - MlLib - Filtrado colaborativo
Estoy tratando de usar MlLib para mi filtrado coloborativo. Me encuentro con el siguiente error en mi programa Scala cuando lo ejecuto en Apache Spark 1.0.0. 14/07/15 16:16:31 WARN NativeCodeLoader: Unable to load native-hadoop library for your ...
Spark Streaming Recuento acumulado de palabras
Este es un programa de transmisión por chispa escrito en scala. Cuenta la cantidad de palabras de un socket en cada 1 segundo. El resultado sería el recuento de palabras, por ejemplo, el recuento de palabras del tiempo 0 al 1, y el recuento de ...
¿Cómo funciona la función agregada de Spark - agregateByKey?
Digamos que tengo un sistema de distribución en 3 nodos y mis datos se distribuyen entre esos nodos. por ejemplo, tengo un archivo test.csv que existe en los 3 nodos y contiene 2 columnas de: **row | id, c.** --------------- row1 | k1 , c1 row2 ...
Apache Spark - java.lang.NoSuchMethodError: breeze.linalg.DenseVector
¡Tengo problemas para ejecutar Apache Spark 1.0.1 en Play! aplicación Actualmente, estoy tratando de ejecutar Spark en Play! aplicación y utilizar algunos de los aprendizajes básicos de la máquina en Spark. Aquí está la creación de mi ...
Spark - scala: baraja RDD / divide RDD en dos partes aleatorias al azar
¿Cómo puedo tomar una matriz rdd de chispa y dividirla en dos rdds al azar para que cada rdd incluya alguna parte de los datos (digamos 97% y 3%)? Pensé en barajar la lista y luegoshuffledList.take((0.97*rddList.count).toInt) Pero, ¿cómo puedo ...
¿Cómo puedo conectarme a una base de datos postgreSQL en Apache Spark usando scala?
Quiero saber cómo puedo hacer lo siguiente en scala. Conéctese a una base de datos postgreSQL usando Spark scala.Escriba consultas SQL como SELECT, UPDATE, etc. para modificar una tabla en esa base de datos.Sé hacerlo usando scala, pero ¿cómo ...
El propósito de ClosureCleaner.clean
antes desc.runJob invocadagScheduler.runJob, la función realizada en el rdd es "limpiada" porClosureCleaner.clean. ¿Por qué chispa tiene que hacer esto? ¿Cuál es el propósito?
configurando SparkContext para pyspark
Soy novato conspark ypyspark. Apreciaré si alguien explica qué hace exactamenteSparkContext parámetro hacer? ¿Y cómo podría establecerspark_context para la aplicación de python?
¿Cómo ejecuto el árbol de decisión de Spark con un conjunto de características categóricas usando Scala?
Tengo un conjunto de características con una información categórica correspondiente: Map [Int, Int]. Sin embargo, por mi vida, no puedo entender cómo se supone que debo hacer que funcione la clase DecisionTree. No aceptará nada, sino un La ...
Cómo leer desde hbase usando spark
El siguiente código se leerá desde la base de datos, luego lo convertirá en estructura json y lo convertirá en schemaRDD, pero el problema es que soyusing List para almacenar la cadena json y luego pasar a javaRDD, para datos de aproximadamente ...