Resultados de la búsqueda a petición "scala"
¿Cómo deshabilitar Scalatests etiquetados "Lentos" de forma predeterminada, permitir la ejecución con la opción?
Quiero deshabilitar ciertas pruebas automatizadas etiquetadas como "Lentas" de forma predeterminada, pero permitir que el usuario habilite su ejecución con una línea de comando simple. Me imagino que este es un caso de uso muy común. Dado este ...
NLineInputFormat no funciona en Spark
Lo que quiero es básicamente que cada elemento de datos consista en 10 líneas. Sin embargo, con el siguiente código, cada elemento sigue siendo una línea. ¿Qué error estoy haciendo aquí? val conf = new SparkConf().setAppName("MyApp") ...
Spark UDF llamado más de una vez por registro cuando DF tiene demasiadas columnas
Estoy usando Spark 1.6.1 y encuentro un comportamiento extraño: estoy ejecutando un UDF con algunos cálculos pesados (simulaciones físicas) en un marco de datos que contiene algunos datos de entrada, y construyendo un marco de datos de resultados ...
Scala spark, listbuffer está vacío
En este fragmento de código en el comentario 1, la longitud de los elementos del buffer de lista se muestra correctamente, pero en el segundo código de comentario nunca se ejecuta. ¿Por qué ocurre? val conf = new ...
Spark: Transponer DataFrame sin agregar
He examinado varias preguntas en línea, pero no parecen hacer lo que intento lograr. Estoy usando Apache Spark 2.0.2 con Scala. Tengo un marco de datos: +----------+-----+----+----+----+----+----+ |segment_id| val1|val2|val3|val4|val5|val6| ...
Spark Dataframes- Reducción por clave
Digamos que tengo una estructura de datos como esta donde ts es una marca de tiempo case class Record(ts: Long, id: Int, value: Int)Dado un gran número de estos registros, quiero terminar con el registro con la marca de tiempo más alta para cada ...
Extrayendo lift-json en una clase de caso con un límite superior
He pasado el último día buscando y leyendo varios sitios y artículos para tratar de encontrar la respuesta a esta pregunta y no he encontrado nada que me ayude. Ni siquiera estoy seguro de si esto es factible. Mi problema es que estoy tratando de ...
Crear una nueva columna basada en la verificación de fecha
Tengo dos marcos de datos en Scala: df1 = ID Field1 1 AAA 2 BBB 4 CCCy df2 = PK start_date_time 1 2016-10-11 11:55:23 2 2016-10-12 12:25:00 3 2016-10-12 16:20:00También tengo una variablestart_date con el formatoyyyy-MM-dd igual ...
filtrar e informar múltiples predicados
Este es un tipo de pregunta cosmética de Scala. Una lista con objetos necesita ser filtrada en los atributos de los objetos. Necesito informar si la primera verificación del atributo da como resultado una lista vacía. Código simplificado case ...
¿Qué reglas especiales tiene el compilador scala para el tipo de unidad dentro del sistema de tipos?
losUnit obtiene un manejo especial por parte del compilador al generar código de bytes porque es análogo avoid en la jvm. Pero conceptualmente como un tipo dentro del sistema de tipos scala, parece que también recibe un tratamiento especial en el ...