Resultados de la búsqueda a petición "apache-spark"
Clase de caso Scala que ignora la importación en el shell Spark
¡Espero que haya una respuesta obvia a esta pregunta! Acabo de actualizar a Spark v2.0 y tengo un extraño problema con elchispa (Compilación Scala 2.11). Si ingreso el siguiente mínimo de Scala, import java.sql.Timestamp case class ...
Spark 2.0.0 Arrays.asList no funciona - tipos incompatibles
El siguiente código funciona con Spark 1.5.2 pero no con Spark 2.0.0. Estoy usando Java 1.8. final SparkConf sparkConf = new SparkConf(); sparkConf.setMaster("local[4]"); // Four threads final JavaSparkContext javaSparkContext = ...
API de apache spark rest
Estoy usando el comando spark-submit que tengo para las propiedades log4j para invocar un Spark-submit como este: /opt/spark-1.6.2-bin-hadoop2.6/bin/spark-submit \ --driver-java-options ...
En Apache Spark 2.0.0, ¿es posible obtener una consulta de una base de datos externa (en lugar de tomar toda la tabla)?
Usando pyspark: from pyspark.sql import SparkSession spark = SparkSession\ .builder\ .appName("spark play")\ .getOrCreate() df = spark.read\ .format("jdbc")\ .option("url", "jdbc:mysql://localhost:port")\ .option("dbtable", "schema.tablename")\ ...
Spark RDD a DataFrame Python
Estoy tratando de convertir el Spark RDD en un DataFrame. He visto la documentación y el ejemplo donde se pasa el esquema asqlContext.CreateDataFrame(rdd,schema) función. Pero tengo 38 columnas o campos y esto aumentará aún más. Si doy ...
Error: no encontrado: valor encendido / cuándo - spark scala
Estoy usando scala, spark, IntelliJ y maven. He usado el siguiente código: val joinCondition = when($"exp.fnal_expr_dt" >= $"exp.nonfnal_expr_dt", $"exp.manr_cd"===$"score.MANR_CD") val score ...
java.io.NotSerializableException en Spark Streaming con checkpointing habilitado
código a continuación: def main(args: Array[String]) { val sc = new SparkContext val sec = Seconds(3) val ssc = new StreamingContext(sc, sec) ssc.checkpoint("./checkpoint") val rdd = ssc.sparkContext.parallelize(Seq("a","b","c")) val ...
Excepción de Spark Twitter Streaming: (org.apache.spark.Logging) classnotfound
Estoy probando el ejemplo de Spark Twitter Streaming con Scala usando Maven pero obtengo el siguiente error cuando lo ejecuto: Causado por: java.lang.ClassNotFoundException: org.apache.spark.Logging A continuación están mis ...
Acceda a archivos que comienzan con guión bajo en apache spark
Estoy tratando de acceder a archivos gz en s3 que comienzan con_ en Apache Spark. Desafortunadamente, spark considera que estos archivos son invisibles y regresaInput path does not exist: s3n:.../_1013.gz. Si elimino el guión bajo, encuentra el ...
¿ForeachRDD se ejecuta en el controlador?
Estoy tratando de procesar algunos datos XML recibidos en una cola JMS (QPID) usando Spark Streaming. Después de obtener xml como DStream, los convierto en Dataframes para poder unirlos con algunos de mis datos estáticos en forma de Dataframes ya ...