Resultados de la búsqueda a petición "scala"
Manera adecuada de hacer un tarro de grasa con SBT
Necesito un Fat Jar con Spark porque estoy creando un nodo personalizado para Knime. Básicamente es un frasco autónomo ejecutado dentro de Knime y supongo que un Frasco gordo es la única forma de generar un trabajo Spark local. Eventualmente, ...
¿Cómo usar Spark SQL DataFrame con flatMap?
Estoy usando la API de Spark Scala. Tengo un Spark SQL DataFrame (leído desde un archivo Avro) con el siguiente esquema: root |-- ids: array (nullable = true) | |-- element: map (containsNull = true) | | |-- key: integer | | |-- value: string ...
¿Qué puedo hacer con las clases virtuales?
He visto (y escuchado) bastante ruido sobre agregarclases virtuales a Scala (ya tienetipos virtuales [http://www.scala-lang.org/docu/files/IC_TECH_REPORT_2005013.pdf#], de acuerdo a Martin Odersky ...
Cómo dividir una lista por otra lista en Scala
Soy nuevo en Scala y necesito una solución a mi problema. Imagina que tengo estas listas: val list1 = List(1,2,3,4,5,6,7,8,9,10,11) val list2 = List(6,5)Y mi deseo es dividir la primera lista en una Lista de listas usando list2 para ...
Spark - “paquete sbt” - “value $ no es miembro de StringContext” - ¿Falta el complemento Scala?
Cuando ejecuto "sbt package" desde la línea de comandos para una pequeña aplicación Spark Scala, obtengo el error de compilación "value $ no es miembro de StringContext" en la siguiente línea de código: val joined = ordered.join(empLogins, ...
La variable LinkedHashMap no es accesible fuera del bucle foreach
Aquí está mi código. var link = scala.collection.mutable.LinkedHashMap[String, String]() var fieldTypeMapRDD = fixedRDD.mapPartitionsWithIndex((idx, itr) => itr.map(s => (s(8), s(9)))) fieldTypeMapRDD.foreach { i => println(i) link.put(i._1, ...
Grupo de captura Scala usando expresiones regulares
Digamos que tengo este código: val string = "one493two483three" val pattern = """two(\d+)three""".r pattern.findAllIn(string).foreach(println)EsperabafindAllIn solo regresar483, pero en cambio, regresótwo483three. Sé que podría usarunapply para ...
¿Por qué los objetos complementarios de clase de caso extienden FunctionN?
Cuando crea una clase de caso, el compilador crea un objeto complementario correspondiente con algunas de las ventajas de la clase de caso: unapply método de fábrica que coincide con el constructor primario,equals, hashCodeycopy. Curiosamente, ...
Play 2.4 - Slick 3.0.0 - DELETE no funciona
Estoy tratando de actualizar a Slick 3.0.0 y Play 2.4 (Scala), peroborrandoLas filas no funcionan. En el siguiente código, todo funciona: consultar todas las filas, insertar y actualizar, excepto eliminar. package dao import ...
Ordenar por valor en Spark pairRDD desde (Key, Value) donde el valor es de spark-sql
He creado un mapa como este: val b = a.map(x => (x(0), x) )Aquí b es del tipo org.apache.spark.rdd.RDD[(Any, org.apache.spark.sql.Row)] ¿Cómo puedo ordenar el PairRDD dentro de cada clave usando un campo de la fila de valor?Después de ...