Resultados de la búsqueda a petición "apache-spark-sql"
Obtenga un java.lang.LinkageError: ClassCastException cuando use spark sql hivesql en hilo
Este es el controlador que subo a yarn-cluster: package com.baidu.spark.forhivetest import org.apache.spark.sql._ import org.apache.spark.sql.types._ import org.apache.spark.sql.hive._ import org.apache.spark.SparkContext object ForTest { def ...
PySpark: escupe un solo archivo al escribir en lugar de varios archivos de pieza
¿Hay alguna manera de evitar que PySpark cree varios archivos pequeños al escribir un DataFrame en un archivo JSON? Si corro: df.write.format('json').save('myfile.json')o df1.write.json('myfile.json')crea la carpeta llamadamyfile y dentro de ...
Spark Row a JSON
Me gustaría crear un JSON desde un marco de datos Spark v.1.6 (usando scala). Sé que existe la solución simple de hacerdf.toJSON. Sin embargo, mi problema se ve un poco diferente. Considere, por ejemplo, un marco de datos con las siguientes ...
¿Cómo transponer el marco de datos en Spark 1.5 (sin operador de pivote disponible)?
Quiero transponer la siguiente tabla usando spark scala sin la función Pivot Estoy usando Spark 1.5.1 y la función Pivot no es compatible con 1.5.1. Sugiera un método adecuado para transponer la siguiente tabla: Customer Day Sales 1 Mon 12 1 ...
Uso de funciones de ventanas en Spark
Estoy tratando de usar rowNumber en los marcos de datos de Spark. Mis consultas funcionan como se esperaba en Spark Shell. Pero cuando los escribo en eclipse y compilo un frasco, me enfrento a un error 16/03/23 05:52:43 ERROR ApplicationMaster: ...
Ejecución de consultas SQL Spark en Hive
Soy nuevo en Spark SQL pero conozco el marco de ejecución de consultas de la colmena. Me gustaría entender cómo chispa ejecuta consultas SQL (descripción técnica). Si disparo debajo del comando val sqlContext = new ...
Convertir entre spark.SQL DataFrame y pandas DataFrame [duplicado]
Esta pregunta ya tiene una respuesta aquí: Requisitos para convertir el marco de datos de Spark a Pandas / R marco de datos [/questions/30983197/requirements-for-converting-spark-dataframe-to-pandas-r-dataframe] 1 respuesta ¿Es posible ...
¿Cómo habilitar la unión cartesiana en Spark 2.0? [duplicar
Esta pregunta ya tiene una respuesta aquí: spark.sql.crossJoin.enabled para Spark 2.x [/questions/38999140/spark-sql-crossjoin-enabled-for-spark-2-x] 3 respuestas Tengo que cruzar el dataframe 2 en Spark 2.0 Me encuentro con el ...
Cuál es la diferencia entre SparkSession y SparkContext? [duplicar
Esta pregunta ya tiene una respuesta aquí: Diferencia entre SparkContext, JavaSparkContext, SQLContext y SparkSession? [/questions/43802809/difference-between-sparkcontext-javasparkcontext-sqlcontext-and-sparksession] 3 respuestas Solo conozco ...
Filtro marco de datos por valor NO presente en la columna de otro marco de datos [duplicado]
Esta pregunta ya tiene una respuesta aquí: Filter Spark DataFrame basado en otro DataFrame que especifica los criterios de la lista negra [/questions/39887526/filter-spark-dataframe-based-on-another-dataframe-that-specifies-blacklist-crite] 2 ...