Resultados de la búsqueda a petición "scala"
Scala: llene los espacios en una Lista con el último valor no vacío
Tengo una lista como: val arr = Array("a", "", "", "b", "c", "")Estoy buscando una manera de crear: Array("a", "a", "a", "b", "c", "c")
Error al ejecutar construcciones Scala con Spark 1.5.2 y Scala 2.11.7
Tengo un archivo de objeto scala simple con el siguiente contenido: import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf object X { def main(args: Array[String]) { val params = Map[String, ...
¿Cómo definir "disyunción de tipo" (tipos de unión)?
Una forma que tienesido sugerido [https://stackoverflow.com/questions/3422336/how-can-i-differentiate-between-def-fooaxs-a-and-def-fooa-bxs-a-b/3424314#3424314] lidiar con definiciones dobles de métodos sobrecargados es reemplazar la sobrecarga ...
Scala: ¿Por qué puedo convertir Int a Unit?
Recientemente comencé a jugar con Scala (2.8) y noté que puedo escribir el siguiente código (en el intérprete de Scala): scala> var x : Unit = 10 x : Unit = ()No es obvio lo que está pasando allí. Realmente no esperaba ver ninguna conversión ...
Spark + Scala transformaciones, inmutabilidad y gastos generales de consumo de memoria
He revisado algunos videos en Youtube sobreChispa - chispear [https://www.youtube.com/watch?v=65aV15uDKgA]arquitectura. Aunque la evaluación diferida, la capacidad de recuperación de la creación de datos en caso de fallas, los buenos conceptos ...
Cómo calcular la suma acumulativa usando Spark
Tengo un rdd de (String, Int) que está ordenado por clave val data = Array(("c1",6), ("c2",3),("c3",4)) val rdd = sc.parallelize(data).sortByKeyAhora quiero comenzar el valor de la primera clave con cero y las claves posteriores como la suma de ...
Resultados inesperados en Spark MapReduce
Soy nuevo en Spark y quiero entender cómo se hace MapReduce debajo del capó para asegurarme de que lo uso correctamente.Esta publicación [https://stackoverflow.com/a/32520848/5880417]proporcionó una gran respuesta, pero mis resultados no parecen ...
Spark: diferencia de semántica entre reduce y reduceByKey
En la documentación de Spark, dice que el método RDDreduce [http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.rdd.RDD] requiere una función binaria asociativa Y conmutativa. Sin embargo, el ...
una expresión de tipo nulo no es elegible para la conversión implícita
Al hacer esto: def myfunction(line: String): (Int, Option[DateTime], Option[Int]) = { // do some stuff (5, Option(null), Option(null)) }Me sale lo siguiente: una expresión de tipo nulo no es elegible para la conversión implícita No estoy ...
¿Cómo crear un transformador personalizado desde un UDF?
Estaba tratando de crear y guardar unTubería [https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.ml.Pipeline] Con escenarios personalizados. Necesito agregar uncolumn para miDataFrame mediante el uso de unUDF. Por lo ...