Resultados de la búsqueda a petición "apache-spark"
Consideraciones de seguridad de Spark SQL
¿Cuáles son las consideraciones de seguridad al aceptar y ejecutar consultas SQL arbitrarias de chispa? Imagine la siguiente configuración: Dos archivos en hdfs se registran como tablasa_secrets yb_secrets: # must only be accessed by clients ...
Diferencias clave SPARK-HIVE entre Hive y Parquet desde la perspectiva del procesamiento del esquema de tabla
Soy nuevo en chispa y colmena. No entiendo la declaración "Hive considera todas las columnas anulables, mientras que la nulabilidad en Parquet es significativa" Si alguien explica la declaración con un ejemplo, será mejor para mí. Gracias a tu.
No se puede convertir el tipo <clase 'pyspark.ml.linalg.SparseVector'> en Vector
Dado mi objeto pyspark Row: >>> row Row(clicked=0, features=SparseVector(7, {0: 1.0, 3: 1.0, 6: 0.752})) >>> row.clicked 0 >>> row.features SparseVector(7, {0: 1.0, 3: 1.0, 6: 0.752}) >>> type(row.features) <class ...
Cómo convertir todas las columnas del marco de datos a cadena
Tengo un marco de datos de tipo mixto. Estoy leyendo este marco de datos de la tabla de la colmena usandospark.sql('select a,b,c from table') mando. Algunas columnas son int, bigint, double y otras son string. Hay 32 columnas en total. ¿Hay ...
Spark Window Functions requiere HiveContext?
Estoy probando un ejemplo de función de ventana en spark de este ...
PySpark Cómo leer CSV en Dataframe y manipularlo
Soy bastante nuevo en pyspark y estoy tratando de usarlo para procesar un gran conjunto de datos que se guarda como un archivo csv. Me gustaría leer el archivo CSV en el marco de datos de chispa, soltar algunas columnas y agregar nuevas columnas. ...
Scala spark, listbuffer está vacío
En este fragmento de código en el comentario 1, la longitud de los elementos del buffer de lista se muestra correctamente, pero en el segundo código de comentario nunca se ejecuta. ¿Por qué ocurre? val conf = new ...
Encuentre la mediana en spark SQL para múltiples columnas de doble tipo de datos
Tengo un requisito para encontrar la mediana para múltiples columnas de doble tipo de datos. Solicite sugerencia para encontrar el enfoque correcto. A continuación se muestra mi conjunto de datos de muestra con una columna. Espero que el valor ...
¿Hay alguna manera de transmitir los resultados al controlador sin esperar a que todas las particiones completen la ejecución?
¿Hay alguna forma de transmitir resultados al controlador sin esperar a que todas las particiones completen la ejecución? Soy nuevo en Spark, así que, por favor, apúnteme en la dirección correcta si hay un mejor enfoque. Me gustaría ejecutar una ...
Spark 2.0: redefiniendo los parámetros de SparkSession a través de GetOrCreate y NO viendo cambios en WebUI
Estoy usando Spark 2.0 con PySpark. Estoy redefiniendoSparkSession parámetros a través de unGetOrCreate Método que se introdujo en 2.0: Este método primero comprueba si hay una SparkSession predeterminada global válida y, en caso afirmativo, ...