Resultados de la búsqueda a petición "apache-spark-sql"
¿Cómo hacer la unión externa izquierda en spark sql?
Estoy tratando de hacer una unión externa izquierda en spark (1.6.2) y no funciona. Mi consulta sql es así: sqlContext.sql("select t.type, t.uuid, p.uuid from symptom_type t LEFT JOIN plugin p ON t.uuid = p.uuid where t.created_year = 2016 and ...
retraso de la función de ventana de sql spark
Estoy mirando la función de diapositiva de ventana para un Spark DataFrame en Spark SQL, Scala. Tengo un marco de datos con columnas Col1, Col1, Col1, fecha. Col1 Col2 Col3 date volume new_col 201601 100.5 201602 120.6 100.5 201603 450.2 120.6 ...
Spark SQL fechado en segundos
Tengo el siguiente código: table.select(datediff(table.col("Start Time"), table.col("End Time"))).show()El formato de fecha es2016-05-19 09:23:28 (YYYY-MM-DD HH:mm:SS) FunciónfechadoCalcule la diferencia en días. Pero me gustaría tener ...
Spark SQL - cláusula IN
Me gustaría agregar la condición where para una columna con valores múltiples en DataFrame. Funciona por un solo valor, por ejemplo. df.where($"type".==="type1" && $"status"==="completed").¿Cómo puedo agregar múltiples valores para la misma ...
Scala: Spark SQL to_date (unix_timestamp) que devuelve NULL
Spark Version: spark-2.0.1-bin-hadoop2.7 Scala: 2.11.8 Estoy cargando un csv en bruto en un DataFrame. En csv, aunque se admite que la columna esté en formato de fecha, se escriben como 20161025 en lugar de 2016-10-25. El parámetrodate_format ...
Cómo implementar el incremento automático en spark SQL (PySpark)
Necesito implementar una columna de incremento automático en mi tabla spark sql, ¿cómo podría hacer eso? Amablemente guíame. estoy usando pyspark 2.0 Gracias kalyan
El DAG dinámico de Spark es mucho más lento y diferente del DAG codificado
Tengo una operación en chispa que se debe realizar para varias columnas en un marco de datos. Generalmente, hay 2 posibilidades para especificar tales operaciones Código difícilhandleBias("bar", df) .join(handleBias("baz", df), ...
¿Cómo usar Column.isin en Java?
Estoy tratando de filtrar un Spark DataFrame usando una lista en Java. java.util.List<Long> selected = ....; DataFrame result = df.filter(df.col("something").isin(????));El problema es eseisin(...) método acepta ScalaSeq o ...
Cómo seleccionar y ordenar múltiples columnas en un Pyspark Dataframe después de una unión
Quiero seleccionar varias columnas del marco de datos existente (que se crea después de las uniones) y me gustaría ordenar los fileds como mi estructura de tabla de destino. Cómo puede hacerse esto ? El acercamiento que he usado está abajo. Aquí ...
¿Cuáles son las posibles razones para recibir TimeoutException ?: Futures expiró después de [n segundos] al trabajar con Spark [duplicar]
Esta pregunta ya tiene una respuesta aquí: ¿Por qué falla la unión con "java.util.concurrent.TimeoutException: Futures expiró después de [300 ...