Resultados de la búsqueda a petición "apache-spark"
¿Para qué sirve --driver-class-path en el comando spark?
Según chispadocs [http://spark.apache.org/docs/latest/sql-programming-guide.html#jdbc-to-other-databases] , Para comenzar, deberá incluir el controlador JDBC para su base de datos particular en el classpath de spark. Por ejemplo, para conectarse ...
Error al cargar la implementación NativeSystemBLAS HiBench
Estoy ejecutando aplicaciones HiBench Bayes y kmean, sin embargo, recibo una advertencia 17/09/05 09:54:54 WARN netlib.BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS 17/09/05 09:54:54 WARN netlib.BLAS: Failed ...
¿Por qué este código Spark crea NullPointerException?
Tengo un problema al ejecutar una aplicación Spark. Código fuente: // Read table From HDFS val productInformation = spark.table("temp.temp_table1") val dict = spark.table("temp.temp_table2") // Custom UDF val countPositiveSimilarity = udf[Long, ...
Spark no funciona con pureconfig
Estoy tratando de usar pureConfig y configFactory para la configuración de mi aplicación spark. Aquí está mi código: import pureconfig.{loadConfigOrThrow} object Source{ def apply(keyName: String, configArguments: Config): Source = { ...
Sparklyr: ¿como centrar una tabla de Spark basada en una columna?
Tengo una mesa Spark: simx x0: num 1.00 2.00 3.00 ... x1: num 2.00 3.00 4.00 ... ... x788: num 2.00 3.00 4.00 ...y un identificador llamadosimX_tbl en el entorno R que está conectado a estesimx mesa. Quiero hacer un centrado para esta tabla, ...
¿Cómo cargar CSV con marcas de tiempo en formato personalizado?
Tengo un campo de marca de tiempo en un archivo csv que cargo en un marco de datos usando la biblioteca spark csv. El mismo código funciona en mi máquina local con la versión Spark 2.0, pero arroja un error en Azure Hortonworks HDP 3.5 y 3.6. Lo ...
Utilice un método dentro de una función UDF Spark Scala
Quiero usar un método ubicado en otra clase dentro de una función diseñada por el usuario, pero no funciona. Tengo un metodo: def traitementDataFrameEleve(sc:SparkSession, dfRedis:DataFrame, domainMail:String, dir:String):Boolean ={ def ...
¿Cómo escribir un objeto de conjunto de datos para sobresalir en spark java?
Estoy leyendo un archivo de Excel usandocom.crealytics.spark.excelpaquete. A continuación se muestra el código para leer un archivo de Excel en spark java. Dataset<Row> SourcePropertSet = sqlContext.read() .format("com.crealytics.spark.excel") ...
¿Cómo puede analizar una cadena que es json de una tabla temporal existente usando PySpark?
Tengo un marco de datos Spark existente que tiene columnas como tales: -------------------- pid | response -------------------- 12 | {"status":"200"}La respuesta es una columna de cadena. ¿Hay alguna manera de convertirlo en JSON y extraer ...
Scala agrega una nueva columna al marco de datos por expresión
Voy a agregar una nueva columna a un marco de datos con expresión. por ejemplo, tengo un marco de datos de +-----+----------+----------+-----+ | C1 | C2 | C3 |C4 | +-----+----------+----------+-----+ |steak|1 |1 | 150| |steak|2 |2 | 180| ...