Resultados de la búsqueda a petición "apache-spark"
Apache Spark - Manejo de ventanas deslizantes en RDD temporales
He estado trabajando bastante con Apache Spark en los últimos meses, pero ahora he recibido una tarea bastante difícil, calcular el promedio / mínimo / máximo, etc. en una ventana deslizante sobre un parRDD donde el componente clave es ...
¿Por qué falla spark-submit y spark-shell con "No se pudo encontrar el ensamblaje Spark JAR. Necesita construir Spark antes de ejecutar este programa.
Estaba tratando de ejecutar spark-submit y me aparece "No se pudo encontrar el JAR de ensamblado de Spark. Necesitas construir Spark antes de ejecutar este programa". Cuando intento ejecutar spark-shell me sale el mismo error. Lo que tengo que ...
Cómo dividir el archivo de entrada en Apache Spark
Supongamos que tengo un archivo de entrada de tamaño 100MB. Contiene gran cantidad de puntos (par lat-long) en formato CSV. ¿Qué debo hacer para dividir el archivo de entrada en 10 archivos de 10 MB en Apache Spark o cómo personalizar la ...
excepción de lanzamiento de código scala en chispa
Soy nuevo en scala y spark. Hoy traté de escribir algo de código y dejé que se ejecutara por chispa, pero obtuve una excepción. este código funciona en scala local import org.apache.commons.lang.time.StopWatch ...
Spark: cómo ejecutar el archivo spark desde spark shell
Estoy usando CDH 5.2. Puedo usarchispapara ejecutar los comandos ¿Cómo puedo ejecutar el archivo (file.spark) que contiene comandos de chispa?¿Hay alguna forma de ejecutar / compilar los programas scala en CDH 5.2 sin sbt?Gracias por adelantado
"No hay sistema de archivos para el esquema: gs" cuando se ejecuta el trabajo de chispa localmente
Estoy ejecutando un trabajo de Spark (versión 1.2.0), y la entrada es una carpeta dentro de un depósito de Google Clous Storage (es decir, gs: // mybucket / folder) Cuando ejecuto el trabajo localmente en mi máquina Mac, obtengo el ...
SparkSQL MissingRequirementError al registrar la tabla
Soy un novato en Scala y Apache Spark y estoy tratando de usar Spark SQL. Después de clonar elrepo [https://github.com/apache/spark]Comencé la chispa escribiendobin/spark-shell y ejecuta lo siguiente: val sqlContext = new ...
Cómo convertir org.apache.spark.rdd.RDD [Array [Double]] a Array [Double] que requiere Spark MLlib
Estoy tratando de implementarKMeans using Apache Spark. val data = sc.textFile(irisDatasetString) val parsedData = data.map(_.split(',').map(_.toDouble)).cache() val clusters = KMeans.train(parsedData,3,numIterations = 20)en el que me sale el ...
¿Cómo omito un encabezado de los archivos CSV en Spark?
Supongamos que le doy tres rutas de archivos a un contexto de Spark para leer y cada archivo tiene un esquema en la primera fila. ¿Cómo podemos omitir las líneas de esquema de los encabezados? val rdd=sc.textFile("file1,file2,file3")Ahora, ¿cómo ...
¿Por qué Scala 2.11 y Spark con vieira conducen a "java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror"?
Estoy usando Scala 2.11, Spark y Scallop (https://github.com/scallop/scallop [https://github.com/scallop/scallop]) Usé sbt para construir una aplicación fat jar sin dependencias proporcionadas por Spark (esto ...