Resultados de la búsqueda a petición "scala"
Spark y SparkSQL: ¿Cómo imitar la función de ventana?
DescripciónDado un marco de datosdf id | date --------------- 1 | 2015-09-01 2 | 2015-09-01 1 | 2015-09-03 1 | 2015-09-04 2 | 2015-09-04Quiero crear un contador o índice en ejecución, agrupados por la misma identificación yordenado por fecha en ...
¿Cómo copiar eficientemente una matriz a otra en Scala?
Cómo puedo usar otra forma de copiar unArray a otroArray? Mi pensamiento es usar el= operador. Por ejemplo: val A = Array(...) val B = APero esto esta bien? La segunda forma es usarfor loop, por ejemplo: val A = Array(...) val B = new ...
¿Cuál es una manera simple (solo Scala) de leer y luego escribir un pequeño archivo .csv que pasa por una Lista [Lista [Cadena]]?
Acabo de recibir un montón de archivos de datos desordenados en formato CSV (valores separados por comas). Necesito hacer un trabajo normal de limpieza, validación y filtrado en el conjunto de datos. Voy a hacer la limpieza en Scala (2.11.7). En ...
¿Cómo definir el esquema para el tipo personalizado en Spark SQL?
El siguiente código de ejemplo intenta colocar algunos objetos de caso en un marco de datos. El código incluye la definición de una jerarquía de objetos de caso y una clase de caso que utiliza este rasgo: import org.apache.spark.{SparkContext, ...
Subrayado para tipo existencial en Scala
He leído un blog sobre tipo existencial en Scala:Tipos existenciales en Scala [http://www.drmaciver.com/2008/03/existential-types-in-scala/] En este blog, menciona un ejemplo: Map[Class[T forSome { type T}], String] Map[Class[T] forSome { type ...
Convertir fecha de nacimiento en edad en Spark Dataframe API
Esto parece simple pero no pude encontrar la respuesta. Estoy tratando de convertir una columna de fecha de nacimiento en el siguiente formato de fecha al formato de fecha en Spark Dataframe API y luego calcular las edades correspondientes. ...
"Con" declaración equivalente para Scala?
Quizá reflexionando sobre un estudiante de Scala, pero ... en mis retoques he escrito lo siguiente: ( n.child.size > 0 ) && ( n.child.filter( ! _.isInstanceOf[Text] ).size == 0 ) ('n' es un nodo scala.xml, pero eso no es importante. Tampoco lo ...
Slick 3 repositorio genérico reutilizable
Tengo problemas para hacer que Slick's TableQuery se use de manera genérica. Observe la situación regular: class AccountRepository { override protected val dbConfig = DatabaseConfigProvider.get[JdbcProfile](Play.current) val accounts ...
Spark: transmitiendo jackson ObjectMapper
Tengo una aplicación de chispa que lee líneas de un archivo y trata de deserializarlas usando jackson. Para que este código funcionara, necesitaba definir el ObjectMapper dentro de la operación Map (de lo contrario, obtuve ...
Scala tuple desembalaje para constructores
Tengo una clase Scala con dos parámetros y otro constructor de parámetros. Para el constructor de un parámetro, llamo a un método para obtener una tupla de dos elementos e intenté usar la tupla para el parámetro del constructor que requiere dos ...