Resultados de la búsqueda a petición "apache-spark"
Agregaciones de filas en Scala
Estoy buscando una manera de obtener una nueva columna en un marco de datos en Scala que calcule lamin/max de los valores encol1, col2, ...,col10 por cada fila Sé que puedo hacerlo con un UDF, pero tal vez haya una manera más fácil. ¡Gracias
`combineByKey`, pyspark [duplicado]
Esta pregunta ya tiene una respuesta aquí: ¿Quién puede dar una explicación clara de `combineByKey` en Spark? [/questions/33937625/who-can-give-a-clear-explanation-for-combinebykey-in-spark] 1 respuestaApache Spark: ¿Cuál es la implementación ...
SPARK Costo de inicializar la conexión de la base de datos en el contexto map / mapPartitions
Ejemplos tomados de Internet, gracias a aquellos con mejores conocimientos. Lo siguiente se puede encontrar en varios foros en relación con mapPartitions y map: ... Consider the case of Initializing a database. If we are using map() ...
Datasets en Apache Spark
Dataset<Tweet> ds = sc.read().json("path").as(Encoders.bean(Tweet.class)); ds.show(); JavaRDD<Tweet> dstry = ds.toJavaRDD(); System.out.println(dstry.first().getClass()); Caused ...
a función .count () de @ Spark es diferente al contenido del marco de datos cuando se filtra en el campo de registro corrupto
Tengo un trabajo de Spark, escrito en Python, que está obteniendo un comportamiento extraño al verificar los errores en sus datos. A continuación se muestra una versión simplificada: from pyspark.sql import SparkSession from pyspark.sql.types ...
¿Cómo puedo leer desde S3 en pyspark ejecutándose en modo local?
Estoy usando PyCharm 2018.1 usando Python 3.4 con Spark 2.3 instalado a través de pip en un virtualenv. No hay instalación de hadoop en el host local, por lo que no hay instalación de Spark (por lo tanto, no SPARK_HOME, HADOOP_HOME, ...
¿Por qué no se utiliza el pushdown de predicados en la API de conjunto de datos con tipo (frente a la API de marco de datos sin tipo)?
Siempre pensé que las API de dataset / dataframe son las mismas ... y la única diferencia es que la API de dataset le dará seguridad en el tiempo de compilación. Correcto Entonces, tengo un caso muy simple: case class Player (playerID: ...
EsHadoopIllegalArgumentException: no se puede detectar la versión ES Spark-ElasticSearch ejemplo
Estoy tratando de ejecutar datos simples de escritura en el ejemplo ElasticSearch. Sin embargo, sigo recibiendo este error: EsHadoopIllegalArgumentException: Cannot detect ES version - typically this happens if the network/Elasticsearch cluster ...
¿Cómo reemplazar los valores vacíos en una columna de DataFrame?
¿Cómo puedo reemplazar los valores vacíos en una columnaField1 de DataFramedf? Field1 Field2 AA 12 BB Este comando no proporciona un resultado esperado: df.na.fill("Field1",Seq("Anonymous"))El resultado esperado: Field1 Field2 Anonymous AA 12 BB
arco de datos pivote de @Pyspark basado en la condición
Tengo un marco de datos enpyspark como abajo df.show() +---+-------+----+ | id| type|s_id| +---+-------+----+ | 1| ios| 11| | 1| ios| 12| | 1| ios| 13| | 1| ios| 14| | 1|android| 15| | 1|android| 16| | 1|android| 17| | 2| ios| 21| | 2|android| ...