Resultados de la búsqueda a petición "scala"
¿Cómo leer y escribir varias tablas en paralelo en Spark?
En mi aplicación Spark, estoy tratando de leer varias tablas de RDBMS, haciendo un procesamiento de datos, luego escribo varias tablas en otro RDBMS de la siguiente manera (en Scala): val reading1 = sqlContext.load("jdbc", Map("url" -> myurl1, ...
Cuándo usar la fábrica de objetos complementarios versus la nueva palabra clave
Muchas clases en la biblioteca estándar de Scala usanapply() de su objeto compañero como fábrica. Esto suele ser conveniente cuando se encadenan llamadas comoList(List(1)). Por otro lado, todavía es posible crear objetos directamente connew (new ...
Supervisión personalizada. Decid no captura la excepción producida por ActorPublisher
Estoy construyendo una biblioteca que será utilizada por terceros. En uno de mis métodos vuelvoStream[Item] que se genera de forma asíncrona a partir del resultado de una llamada API REST paginada. Estoy usando mi modificación ...
akka HttpResponse lee el cuerpo como String scala
Entonces tengo una función con esta firma (akka.http.model.HttpResponse): def apply(query: Seq[(String, String)], accept: String): HttpResponseSimplemente obtengo un valor en una prueba como: val resp = TagAPI(Seq.empty[(String, String)], ...
¿Cómo guardar modelos de ML Pipeline a S3 o HDFS?
Estoy tratando de salvar miles de modelos producidos por ML Pipeline. Como se indica en la respuestaaquí [https://stackoverflow.com/questions/32121046/run-3000-random-forest-models-by-group-using-spark-mllib-scala-api] , los modelos se pueden ...
¿Cómo convierto long (currentTimeInMillis) a la marca de tiempo UTC?
Mi cliente me esta enviandoLong que podría pensarse como scala> System.currentTimeMillis res3: Long = 1441056836609 scala>¿Cómo convierto eso enUTC timeStamp? En el servidor, estamos usandoJava 8
Para mi próximo proyecto, una aplicación web, ¿debería usar scala + wicket o scala + lift?
Dadas las diversas ventajas del lenguaje Scala, he decidido escribir mi próxima aplicación web en Scala. Sin embargo, ¿debería usar Wicket o Lift? Estoy familiarizado con Wicket, y me gusta bastante, pero sé muy poco sobre Lift. ¿Vale la pena el ...
SparkSQL: ¿Cómo lidiar con valores nulos en la función definida por el usuario?
Dada la Tabla 1 con una columna "x" de tipo String. Quiero crear la Tabla 2 con una columna "y" que es una representación entera de las cadenas de fecha dadas en "x". Esenciales mantenernull valores en la columna "y". Tabla 1 (Dataframe ...
Error al ejecutar el trabajo en Spark 1.4.0 con el módulo Jackson con ScalaObjectMapper
Estoy ejecutando un trabajo de chispa escrito en Scala 2.10.4 y ejecutándolo en el clúster Spark 1.4.0 (basado en HDFS y administrado con YARN) y usando los módulos Jackson versión 2.6.1 en el repositorio de Maven Al ejecutar el código ...
¿Qué significa setMaster `local [*]` en chispa?
Encontré un código para comenzar a generar localmente con: val conf = new SparkConf().setAppName("test").setMaster("local[*]") val ctx = new SparkContext(conf)Lo que hace el[*] ¿media?