Resultados de la búsqueda a petición "scala"
Json4s ignorando los campos Ninguno durante la seriallización (en lugar de usar 'nulo')
Estoy teniendo un método de serialización json genérico que usajson4s. Desafortunadamente, está ignorando campos si el valor esNone. Mi objetivo es tenerNone los campos se representan con unnull valor. Lo intenté agregando un serializador ...
¿Cómo omito un encabezado de los archivos CSV en Spark?
Supongamos que le doy tres rutas de archivos a un contexto de Spark para leer y cada archivo tiene un esquema en la primera fila. ¿Cómo podemos omitir las líneas de esquema de los encabezados? val rdd=sc.textFile("file1,file2,file3")Ahora, ¿cómo ...
Obtener una etiqueta de tipo de un tipo?
Puedo conseguir unType a partir de unaTypeTag[A] mediante el uso detpe método. ¿Pero también puedo recuperar la etiqueta de tipo de un tipo? import scala.reflect.runtime.{universe => ru} import ru.{Type, TypeTag} def forward[A](implicit tt: ...
Spray.io: no se puede compilar la especificación de prueba
Tengo el siguiente servicio: trait PingService extends MyHttpService { val pingRoutes = path("ping") { get { complete("message" -> "pong") } } }MyHttpServicees una clase personalizada que se extiendeHttpServicey solo contiene métodos de ...
leer archivos recursivamente desde subdirectorios con chispa de s3 o sistema de archivos local
Estoy tratando de leer archivos de un directorio que contiene muchos subdirectorios. Los datos están en S3 y estoy tratando de hacer esto: val rdd ...
Spark streaming StreamingContext.start () - Error al iniciar el receptor 0
Tengo un proyecto que está utilizando la transmisión por chispa y lo estoy ejecutando con 'spark-submit', pero estoy recibiendo este error: 15/01/14 10:34:18 ERROR ReceiverTracker: Deregistered receiver for stream 0: Error starting receiver 0 - ...
¿Por qué Scala 2.11 y Spark con vieira conducen a "java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror"?
Estoy usando Scala 2.11, Spark y Scallop (https://github.com/scallop/scallop [https://github.com/scallop/scallop]) Usé sbt para construir una aplicación fat jar sin dependencias proporcionadas por Spark (esto ...
¿Cómo tener un subproyecto SBT con múltiples versiones de Scala?
Tengo un proyecto con Scala 2.10 y otro con Scala 2.11. Dependen de un proyecto común, que puede compilarse con ambos. lazy val foo = (project in file("foo")).dependsOn(baz).settings( scalaVersion := "2.10.4" ) lazy val bar = (project in ...
fracaso en el futuro de Scala para la comprensión
Tengo tres Futuros secuenciales y los uso para la comprensión como esta val comF = for { f1 <- future1 f2 <- future2 f3 <- future3 } yield { // something } comF onSuccess { } comF onFailure { // ---------------- Here is the problem ...
¿Cómo convertir Scala Map en cadena JSON?
Por ejemplo, tengo este valor de Mapa en Scala: val m = Map( "name" -> "john doe", "age" -> 18, "hasChild" -> true, "childs" -> List( Map("name" -> "dorothy", "age" -> 5, "hasChild" -> false), Map("name" -> "bill", "age" -> 8, "hasChild" -> ...