Resultados de la búsqueda a petición "apache-spark"
Obtenga un java.lang.LinkageError: ClassCastException cuando use spark sql hivesql en hilo
Este es el controlador que subo a yarn-cluster: package com.baidu.spark.forhivetest import org.apache.spark.sql._ import org.apache.spark.sql.types._ import org.apache.spark.sql.hive._ import org.apache.spark.SparkContext object ForTest { def ...
Spark ML - Save OneVsRestModel
Estoy en medio de refactorizar mi código para aprovecharMarcos de datos, estimadores y tuberías [http://spark.apache.org/docs/latest/ml-guide.html]. Originalmente estaba usandoMLlib Multiclass ...
¿Cómo transponer el marco de datos en Spark 1.5 (sin operador de pivote disponible)?
Quiero transponer la siguiente tabla usando spark scala sin la función Pivot Estoy usando Spark 1.5.1 y la función Pivot no es compatible con 1.5.1. Sugiera un método adecuado para transponer la siguiente tabla: Customer Day Sales 1 Mon 12 1 ...
Spark leyendo python3 pickle como entrada
Mis datos están disponibles como conjuntos de archivos en escabeche de Python 3. La mayoría de ellos son serialización de pandasDataFrames. Me gustaría comenzar a usar Spark porque necesito más memoria y CPU que una computadora puede tener. ...
Uso de funciones de ventanas en Spark
Estoy tratando de usar rowNumber en los marcos de datos de Spark. Mis consultas funcionan como se esperaba en Spark Shell. Pero cuando los escribo en eclipse y compilo un frasco, me enfrento a un error 16/03/23 05:52:43 ERROR ApplicationMaster: ...
Ejecución de consultas SQL Spark en Hive
Soy nuevo en Spark SQL pero conozco el marco de ejecución de consultas de la colmena. Me gustaría entender cómo chispa ejecuta consultas SQL (descripción técnica). Si disparo debajo del comando val sqlContext = new ...
Convertir entre spark.SQL DataFrame y pandas DataFrame [duplicado]
Esta pregunta ya tiene una respuesta aquí: Requisitos para convertir el marco de datos de Spark a Pandas / R marco de datos [/questions/30983197/requirements-for-converting-spark-dataframe-to-pandas-r-dataframe] 1 respuesta ¿Es posible ...
Guardar contenido de Spark DataFrame como un único archivo CSV [duplicado]
Esta pregunta ya tiene una respuesta aquí: Escriba un solo archivo CSV usando spark-csv [/questions/31674530/write-single-csv-file-using-spark-csv] 8 respuestasDigo que tengo un Spark DataFrame que quiero guardar como archivo CSV. DespuésSpark ...
¿Spark admite subconsultas? [duplicar
Esta pregunta ya tiene una respuesta aquí: ¿SparkSQL admite subconsultas? [/questions/33933118/does-sparksql-support-subquery] 2 respuestasCuando estoy ejecutando esta consulta, recibí este tipo de error select * from raw_2 where ip NOT IN ...
Entendiendo la salida del terminal Spark durante las etapas [duplicado]
Esta pregunta ya tiene una respuesta aquí: ¿Qué significan los números en la barra de progreso en spark-shell? [/questions/30245180/what-do-the-numbers-on-the-progress-bar-mean-in-spark-shell] 2 respuestas Soy nuevo en Spark y estoy tratando de ...