Resultados de la búsqueda a petición "scala"
Acerca de cómo agregar una nueva columna a un DataFrame existente con valores aleatorios en Scala
Tengo un marco de datos con un archivo de parquet y tengo que agregar una nueva columna con algunos datos aleatorios, pero necesito que esos datos aleatorios sean diferentes entre sí. Este es mi código real y la versión actual de spark ...
Juega pruebas con la base de datos: "Demasiadas conexiones"
Para tener una base de datos disponible en scalatest con evoluciones, uso esta extensión de la predeterminadaPlaySpec inspirado poresta pregunta ...
Spark Scala Dividir el marco de datos en el mismo número de filas
Tengo un Dataframe y deseo dividirlo en un número igual de filas. En otras palabras, quiero una lista de marcos de datos donde cada uno es un subconjunto desunido del marco de datos original. Digamos que el dataframer de entrada es el ...
¿Cómo obtener los valores en DataFrame con el DataType correcto?
Cuando intenté obtener algunos valores en unDataFrame, me gusta: df.select("date").head().get(0) // type: AnyEl tipo de resultado esAny, que no se espera. Desde undataframe contiene elschema de los datos, debe saber elDataType para cadacolumn, ...
Es aplicar y no aplicar un constructor en scala
En Java podemos hacer un constructor usando el nombre de la clase. Pero en scala he visto diferentes usos de aplicar y no aplicar. ¿Es esto lo mismo que el uso de un constructor en Java, en el que podemos usar aplicar y no aplicar como constructor?
Cómo usar s3 con Apache spark 2.2 en el shell Spark
Estoy tratando de cargar datos de un bucket de Amazon AWS S3, mientras que en el shell Spark. He consultado los siguientes recursos: Análisis de archivos de Amazon S3 con Apache ...
Guiones bajos en un mapa / foreach de Scala
¿Pueden ayudarme a comprender qué está haciendo el guión bajo en el segundo caso a continuación? Supongo que está definiendo una función anónima para cada elemento de la lista, pero ¿por qué esa función no se llama como en el primer caso? scala> ...
Scala crea un grupo de elementos
Quiero crear un grupo de elementos en un mensaje como en la imagen de abajo [/imgs/n0ROx.gif] Actualizado: case class Element(key:String;value:String)El mensaje se puede representar de la siguiente manera case class ...
¿Por qué ciertas proyecciones de tipo son rechazadas y no son ligeramente diferentes?
Perdón por el título no descriptivo. El cálculo de nivel de tipo no es un tema demasiado común en Internet para establecer términos precisos. Traté de usar cálculos de nivel de tipo y de repente obtuve errores espurios de vez en cuando. ...
Extender Scala Set con tipo concreto
Realmente luchando por descubrir extender el conjunto inmutable con una clase que representará un conjunto de tipo concreto. Estoy haciendo esto para tratar de crear un buen DSL. Me gustaría tener una clase Thing, y cuando agregas 'cosas' juntas ...