Resultados de la búsqueda a petición "apache-spark"
Consultar Spark SQL DataFrame con tipos complejos
¿Cómo puedo consultar un RDD con tipos complejos como mapas / matrices? por ejemplo, cuando estaba escribiendo este código de prueba: case class Test(name: String, map: Map[String, String]) val map = Map("hello" -> "world", "hey" -> "there") val ...
enviar tarea a Spark
Instalé spark en ubuntu 14.04 siguiendo este tutorial http://blog.prabeeshk.com/blog/2014/10/31/install-apache-spark-on-ubuntu-14-dot-04/ [http://blog.prabeeshk.com/blog/2014/10/31/install-apache-spark-on-ubuntu-14-dot-04/] Puedo ejecutar los ...
Utilidades ERROR: excepción no detectada en el hilo SparkListenerBus
Intento ejecutar un proyecto simple con Apache Spark. Este es mi código SimpleApp.scala /* SimpleApp.scala */ import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf object SimpleApp { def ...
¿Cómo construir Spark 1.2 con Maven (da java.io.IOException: No se puede ejecutar el programa "javac")?
Estoy tratando de construir Spark 1.2 con Maven. Mi objetivo es usar PySpark con YARN en Hadoop 2.2. Vi que esto solo era posible construyendo Spark con Maven. Primero, ¿es esto cierto? Si es cierto, ¿cuál es el problema en el registro a ...
¿Por qué Apache Spark toma la función no en paralelo?
Leyendo la guía Apache Spark en http://spark.apache.org/docs/latest/programming-guide.html [http://spark.apache.org/docs/latest/programming-guide.html]afirma : ¿Por qué la función take no se ejecuta en paralelo? ¿Cuáles son las ...
leer y escribir desde tablas de colmena con chispa después de la agregación
Tenemos un almacén de colmenas y queríamos usar la chispa para diversas tareas (principalmente clasificación). A veces, escriba los resultados como una tabla de colmena. Por ejemplo, escribimos la siguiente función de python para encontrar la ...
¿Cómo iniciar sesión usando log4j en el sistema de archivos local dentro de una aplicación Spark que se ejecuta en YARN?
Estoy creando una aplicación Apache Spark Streaming y no puedo hacer que se registre en un archivo en el sistema de archivos localcuando se ejecuta en HILO. ¿Cómo se puede lograr esto? He puestolog4.properties archivo para que pueda escribir ...
Error de Apache Spark: no se pudo conectar a akka.tcp: // sparkMaster @
Estos son nuestros primeros pasos utilizando cosas de big data como apache spark y hadoop. Tenemos instalado Cloudera CDH 5.3. Desde el administrador de cloudera elegimos instalar spark. Spark está funcionando muy bien en uno de los nodos del ...
¿Cómo crear una fuente de datos de transmisión personalizada?
Tengo un lector personalizado para Spark Streaming que lee datos de WebSocket. Voy a probar Spark Structured Streaming. ¿Cómo crear una fuente de transmisión de datos en Spark Structured Streaming?
Spark: ¿Ordenar registros en grupos?
Tengo un conjunto de registros que necesito: 1) Agrupar por 'fecha', 'ciudad' y 'tipo' 2) Ordenar cada grupo por 'premio En mi codigo: import org.apache.spark.SparkConf import org.apache.spark.SparkContext object Sort { case class ...