Resultados de la búsqueda a petición "scala"
Error de registro de Scala, com.typesafe.scalalogging.LazyLogging. $ Init $ método no encontrado
Hola, intenté varias combinaciones de incluir dependencias del registro de scala, sin embargo, obtengo un error de tiempo de ejecución porque no se encontró el método init. Para obtener el código detallado y el error que obtengo, eche un ...
¿Cómo desenrollar una matriz en DataFrame (de JSON)?
Cada registro en un RDD contiene un json. Estoy usando SQLContext para crear un DataFrame de Json como este: val signalsJsonRdd = sqlContext.jsonRDD(signalsJson)A continuación se muestra el esquema. datapayload es una matriz de elementos. Quiero ...
Crear / acceder a un marco de datos dentro de la transformación de otro marco de datos
Estoy adaptando un código existente para usar Spark. Tengo múltiples marcos de datos que contienen diferentes conjuntos de datos. Al transformar mi marco de datos principal (o mi conjunto de datos principal), necesito usar datos de los otros ...
Ejecutar un recuento de palabras de Spark en IntelliJ
He pasado horas revisando videos y tutoriales de You Tube tratando de entender cómo ejecuto un programa de conteo de palabras para Spark, en Scala, y lo convierto en un archivo jar. Me estoy confundiendo por completo ahora. Ejecuté Hello World y ...
Spark UDF para StructType / Row
Tengo una columna "StructType" en spark Dataframe que tiene una matriz y una cadena como subcampos. Me gustaría modificar la matriz y devolver la nueva columna del mismo tipo. ¿Puedo procesarlo con UDF? ¿O cuáles son las alternativas? import ...
Cómo crear SparkSession a partir de SparkContext existente
Tengo una aplicación Spark que usa la nueva API Spark 2.0 conSparkSession. Estoy construyendo esta aplicación sobre la otra aplicación que está usandoSparkContext. Me gustaria pasarSparkContext a mi aplicación e inicializarSparkSession utilizando ...
java.lang.NoClassDefFoundError: scala / Product $ class
Soy nuevo en scala y estoy probando algunos códigos de muestra para probar. Sin embargo, estoy enfrentando algunos problemas cuando ejecuto el código de prueba. Cuando ejecuto la prueba, recibo un error [trace] Stack trace suppressed: run last ...
¿Cuáles son los límites de contexto y vista de Scala?
De una manera simple, ¿qué son los límites de contexto y vista y cuál es la diferencia entre ellos? ¡Algunos ejemplos fáciles de seguir también serían geniales!
Apache Spark: obtenga el número de registros por partición
Quiero comprobar cómo podemos obtener información sobre cada partición, como el número total. de registros en cada partición en el lado del controlador cuando el trabajo de Spark se envía con el modo de implementación como un clúster de hilo para ...
¿Cómo crear un proyecto SBT con IntelliJ Idea?
Recién comencé con el desarrollo de Scala / LiftWeb / Sbt, y me gustaría importar un proyecto Sbt en IntelliJ Idea. En realidad, logré importar mi proyecto de dos maneras diferentes: 1) con Maven. Creé un proyecto Maven, y además creé un ...