Resultados de la búsqueda a petición "spark-dataframe"
Spark DataFrame: ¿groupBy after orderBy mantiene ese orden?
Tengo un marco de datos Spark 2.0example con la siguiente estructura: id, hour, count id1, 0, 12 id1, 1, 55 .. id1, 23, 44 id2, 0, 12 id2, 1, 89 .. id2, 23, 34 etc.Contiene 24 entradas para cada id (una para cada hora del día) y se ordena por ...
¿La consulta contra un Spark DataFrame basado en CSV es más rápida que una basada en Parquet?
Tengo que cargar un archivo CSV de HDFS usando Spark enDataFrame. Me preguntaba si hay una mejora en el "rendimiento" (velocidad de consulta) de un DataFrame respaldado por un archivo CSV frente a uno respaldado por un archivo de parquet. Por lo ...
Cómo guardar / insertar cada DStream en una tabla permanente
He estado enfrentando un problema con "Spark Streaming" sobre la inserción de la salida Dstream en unpermanente Tabla SQL. Me gustaría insertar cada salida DStream (proveniente de un solo lote que genera procesos) en una tabla única. He estado ...
Spark RDD a DataFrame Python
Estoy tratando de convertir el Spark RDD en un DataFrame. He visto la documentación y el ejemplo donde se pasa el esquema asqlContext.CreateDataFrame(rdd,schema) función. Pero tengo 38 columnas o campos y esto aumentará aún más. Si doy ...
Spark 2.0 falta chispa implícita
Usando Spark 2.0, estoy viendo que es posible convertir un marco de datos de filas en un marco de datos de clases de casos. Cuando trato de hacerlo, recibí un mensaje que indicaba que debía importarspark.implicits._. El problema que tengo es que ...
Apache spark que trata con declaraciones de casos
Estoy tratando de transformar el código SQL en código PySpark y encontré algunas declaraciones SQL. No sé cómo abordar las declaraciones de casos en pyspark? Estoy planeando crear un RDD y luego usar rdd.map y luego hacer algunas verificaciones ...
¿Cómo guardar un DataFrame como CSV comprimido (comprimido)?
Yo uso Spark 1.6.0 y Scala. Quiero guardar un DataFrame como formato CSV comprimido. Esto es lo que tengo hasta ahora (supongo que ya tengodf ysc comoSparkContext): //set the conf to the codec I ...
¿Por qué Apache Spark lee columnas innecesarias de Parquet dentro de estructuras anidadas?
Mi equipo está creando un proceso ETL para cargar archivos de texto delimitados sin procesar en un "lago de datos" basado en Parquet usando Spark. Una de las promesas de la tienda de columnas Parquet es que una consulta solo leerá las "franjas de ...
¿Cómo desactivar la notación científica en pyspark?
Como resultado de alguna agregación, se me ocurrió el siguiente cuadro de chispa: ------------+-----------------+-----------------+ |sale_user_id|gross_profit |total_sale_volume| +------------+-----------------+-----------------+ | ...
Operador LIKE de marco de datos Pyspark
¿Cuál es el equivalente en Pyspark para el operador LIKE? Por ejemplo, me gustaría hacer: SELECT * FROM table WHERE column LIKE "*somestring*";buscando algo fácil como esto (pero esto no ...