Resultados de la búsqueda a petición "pyspark-sql"
pyspark aprox Función cuántica
Tengo un marco de datos con estas columnasid, price, timestamp. Me gustaría encontrar el valor medio agrupado porid. Estoy usando este código para encontrarlo, pero me está dando este error. from pyspark.sql import DataFrameStatFunctions as ...
Cómo hacer buenos ejemplos reproducibles de Apache Spark
He pasado bastante tiempo leyendo algunas preguntas con elpyspark [/questions/tagged/pyspark]ymarco de datos de chispa [/questions/tagged/spark-dataframe]etiquetas y muy a menudo encuentro que los carteles no proporcionan suficiente información ...
Aplicar una transformación a múltiples columnas pyspark dataframe
Supongamos que tengo el siguiente marco de datos de chispa: +-----+-------+ | word| label| +-----+-------+ | red| color| | red| color| | blue| color| | blue|feeling| |happy|feeling| +-----+-------+Que se puede crear usando el siguiente ...
Listar a DataFrame en pyspark
¿Alguien puede decirme cómo convertir una lista que contiene cadenas a un Dataframe en pyspark. Estoy usando python 3.6 con spark 2.2.1. Acabo de comenzar a aprender el entorno de chispa y mis datos se ven a ...
Contar el número de filas duplicadas en SPARKSQL
Tengo un requisito donde necesito contar el número de filas duplicadas en SparkSQL para las tablas de Hive. from pyspark import SparkContext, SparkConf from pyspark.sql import HiveContext from pyspark.sql.types import * from pyspark.sql import ...
PySpark: tome el promedio de una columna después de usar la función de filtro
Estoy usando el siguiente código para obtener la edad promedio de las personas cuyo salario es mayor que algún umbral. dataframe.filter(df['salary'] > 100000).agg({"avg": "age"})la edad de la columna es numérica (flotante) pero todavía recibo ...
¿Cómo cambiar los nombres de columna del marco de datos en pyspark?
Vengo de antecedentes de pandas y estoy acostumbrado a leer datos de archivos CSV en un marco de datos y luego simplemente cambiar los nombres de columna a algo útil usando el comando simple: df.columns = new_column_name_listSin embargo, lo ...
¿Cómo crear un DataFrame a partir de filas mientras se conserva el esquema existente?
Si llamo mapa omapPartition y mi función recibe filas de PySpark, ¿cuál es la forma natural de crear un PySpark local o un Pandas DataFrame? ¿Algo que combine las filas y conserve el esquema? Actualmente hago algo como: def combine(partition): ...
Pyspark DataFrame UDF en columna de texto
Estoy tratando de hacer una limpieza de texto NLP de algunas columnas Unicode en un PySpark DataFrame. He intentado en Spark 1.3, 1.5 y 1.6 y parece que no puedo hacer que las cosas funcionen para mí. También he intentado usar Python 2.7 y Python ...
Cómo almacenar en caché un marco de datos de Spark y hacer referencia a él en otro script
¿Es posible almacenar en caché un marco de datos y luego hacer referencia (consultarlo) en otro script? ... Mi objetivo es el siguiente: En el script 1, cree un marco de datos (df)Ejecute el script 1 y la memoria caché dfEn el script 2, consulta ...