Resultados de la búsqueda a petición "scala"
¿Cómo integrar Spark con el proyecto Scala en IntelliJ IDE?
Estoy usando IntelliJ IDE para jugar con Scala y Spark. En este IDE creé un proyecto Scala con un objeto Scala (ver imagen). [/imgs/rO0F8.jpg] Usé el código de regresión de muestra de estositio ...
Diferencia entre filtro y donde en scala spark sql
He probado ambos pero funciona igual ejemplo val items = List(1, 2, 3)usando filtro employees.filter($"emp_id".isin(items:_*)).showusando donde employees.where($"emp_id".isin(items:_*)).showEl resultado es igual para ...
¿Cómo puedo crear un Spark DataFrame a partir de una matriz anidada de elemento struct?
He leído un archivo JSON en Spark. Este archivo tiene la siguiente estructura: scala> tweetBlob.printSchema root |-- related: struct (nullable = true) | |-- next: struct (nullable = true) | | |-- href: string (nullable = true) |-- search: struct ...
¿Cómo seleccionar la primera fila de cada grupo?
Tengo un DataFrame generado de la siguiente manera: df.groupBy($"Hour", $"Category") .agg(sum($"value") as "TotalValue") .sort($"Hour".asc, $"TotalValue".desc))Los resultados se ven así: +----+--------+----------+ |Hour|Category|TotalValue| ...
Maven: mezclando Java y Scala en un proyecto
Hoy he estado tratando de encontrar una solución adecuada para configurar un proyecto maven que contenga tanto código Java como Scala (con dependencias bidireccionales entre ellos). Las soluciones que he encontrado generalmente consisten en ...
Cuando se extiende un rasgo dentro de un rasgo, ¿a qué se refiere 'super'?
Quiero extender un rasgo dentro de un rasgo, así: trait NodeTypes { trait Node { def allNodesHaveThis: Int } } trait ScrumptiousTypes extends NodeTypes { trait Node extends super.Node { def scrumptiousness: Int } } trait YummyTypes extends ...
Cómo filtrar por rango de fechas en Spark SQL
Estoy tratando de filtrar el rango de fechas de los siguientes datos usando ladrillos de datos, que devuelve nulo como respuesta. Mis datos csv se ven así: ID, Desc, Week_Ending_Date 100, AAA, 13-06-2015 101, BBB, 11-07-2015 102, CCC, 15-08-2015 ...
¿Por qué hay una diferencia de comportamiento entre estas dos coincidencias de patrones en una comprensión?
Considera estoMap[String, Any]: val m1 = Map(("k1" -> "v1"), ("k2" -> 10))Ahora escribamos unfor: scala> for ((a, b) <- m1) println(a + b) k1v1 k210Hasta aquí todo bien. Ahora especifiquemos el tipo del segundo miembro: scala> for ((a, b: ...
Configure sbt para no utilizar el directorio de inicio del usuario
La semana pasada cambiamos los permisos del directorio de usuarios en nuestros servidores CI y ya no tenemos acceso de escritura al directorio de inicio del usuario. Por lo tanto, sbt no se inicia porque no puede escribir en~/.ivy etc con el ...
Scala: agrupación en un iterador ordenado perezosamente
Yo tengo unIterator[Record] que se ordena enrecord.id de esta manera: record.id=1 record.id=1 ... record.id=1 record.id=2 record.id=2 .. record.id=2 Los registros de una ID específica pueden ocurrir una gran cantidad de veces, por lo que quiero ...