Resultados de la búsqueda a petición "apache-spark"

1 la respuesta

Agregaciones de filas en Scala

Estoy buscando una manera de obtener una nueva columna en un marco de datos en Scala que calcule lamin/max de los valores encol1, col2, ...,col10 por cada fila Sé que puedo hacerlo con un UDF, pero tal vez haya una manera más fácil. ¡Gracias

1 la respuesta

`combineByKey`, pyspark [duplicado]

Esta pregunta ya tiene una respuesta aquí: ¿Quién puede dar una explicación clara de `combineByKey` en Spark? [/questions/33937625/who-can-give-a-clear-explanation-for-combinebykey-in-spark] 1 respuestaApache Spark: ¿Cuál es la implementación ...

2 la respuesta

SPARK Costo de inicializar la conexión de la base de datos en el contexto map / mapPartitions

Ejemplos tomados de Internet, gracias a aquellos con mejores conocimientos. Lo siguiente se puede encontrar en varios foros en relación con mapPartitions y map: ... Consider the case of Initializing a database. If we are using map() ...

2 la respuesta

Datasets en Apache Spark

Dataset<Tweet> ds = sc.read().json("path").as(Encoders.bean(Tweet.class)); ds.show(); JavaRDD<Tweet> dstry = ds.toJavaRDD(); System.out.println(dstry.first().getClass()); Caused ...

1 la respuesta

a función .count () de @ Spark es diferente al contenido del marco de datos cuando se filtra en el campo de registro corrupto

Tengo un trabajo de Spark, escrito en Python, que está obteniendo un comportamiento extraño al verificar los errores en sus datos. A continuación se muestra una versión simplificada: from pyspark.sql import SparkSession from pyspark.sql.types ...

3 la respuesta

¿Cómo puedo leer desde S3 en pyspark ejecutándose en modo local?

Estoy usando PyCharm 2018.1 usando Python 3.4 con Spark 2.3 instalado a través de pip en un virtualenv. No hay instalación de hadoop en el host local, por lo que no hay instalación de Spark (por lo tanto, no SPARK_HOME, HADOOP_HOME, ...

1 la respuesta

¿Por qué no se utiliza el pushdown de predicados en la API de conjunto de datos con tipo (frente a la API de marco de datos sin tipo)?

Siempre pensé que las API de dataset / dataframe son las mismas ... y la única diferencia es que la API de dataset le dará seguridad en el tiempo de compilación. Correcto Entonces, tengo un caso muy simple: case class Player (playerID: ...

1 la respuesta

EsHadoopIllegalArgumentException: no se puede detectar la versión ES Spark-ElasticSearch ejemplo

Estoy tratando de ejecutar datos simples de escritura en el ejemplo ElasticSearch. Sin embargo, sigo recibiendo este error: EsHadoopIllegalArgumentException: Cannot detect ES version - typically this happens if the network/Elasticsearch cluster ...

2 la respuesta

¿Cómo reemplazar los valores vacíos en una columna de DataFrame?

¿Cómo puedo reemplazar los valores vacíos en una columnaField1 de DataFramedf? Field1 Field2 AA 12 BB Este comando no proporciona un resultado esperado: df.na.fill("Field1",Seq("Anonymous"))El resultado esperado: Field1 Field2 Anonymous AA 12 BB

1 la respuesta

arco de datos pivote de @Pyspark basado en la condición

Tengo un marco de datos enpyspark como abajo df.show() +---+-------+----+ | id| type|s_id| +---+-------+----+ | 1| ios| 11| | 1| ios| 12| | 1| ios| 13| | 1| ios| 14| | 1|android| 15| | 1|android| 16| | 1|android| 17| | 2| ios| 21| | 2|android| ...