Resultados de la búsqueda a petición "scala"

1 la respuesta

Manera adecuada de hacer un tarro de grasa con SBT

Necesito un Fat Jar con Spark porque estoy creando un nodo personalizado para Knime. Básicamente es un frasco autónomo ejecutado dentro de Knime y supongo que un Frasco gordo es la única forma de generar un trabajo Spark local. Eventualmente, ...

2 la respuesta

¿Cómo usar Spark SQL DataFrame con flatMap?

Estoy usando la API de Spark Scala. Tengo un Spark SQL DataFrame (leído desde un archivo Avro) con el siguiente esquema: root |-- ids: array (nullable = true) | |-- element: map (containsNull = true) | | |-- key: integer | | |-- value: string ...

1 la respuesta

¿Qué puedo hacer con las clases virtuales?

He visto (y escuchado) bastante ruido sobre agregarclases virtuales a Scala (ya tienetipos virtuales [http://www.scala-lang.org/docu/files/IC_TECH_REPORT_2005013.pdf#], de acuerdo a Martin Odersky ...

3 la respuesta

Cómo dividir una lista por otra lista en Scala

Soy nuevo en Scala y necesito una solución a mi problema. Imagina que tengo estas listas: val list1 = List(1,2,3,4,5,6,7,8,9,10,11) val list2 = List(6,5)Y mi deseo es dividir la primera lista en una Lista de listas usando list2 para ...

3 la respuesta

Spark - “paquete sbt” - “value $ no es miembro de StringContext” - ¿Falta el complemento Scala?

Cuando ejecuto "sbt package" desde la línea de comandos para una pequeña aplicación Spark Scala, obtengo el error de compilación "value $ no es miembro de StringContext" en la siguiente línea de código: val joined = ordered.join(empLogins, ...

1 la respuesta

La variable LinkedHashMap no es accesible fuera del bucle foreach

Aquí está mi código. var link = scala.collection.mutable.LinkedHashMap[String, String]() var fieldTypeMapRDD = fixedRDD.mapPartitionsWithIndex((idx, itr) => itr.map(s => (s(8), s(9)))) fieldTypeMapRDD.foreach { i => println(i) link.put(i._1, ...

4 la respuesta

Grupo de captura Scala usando expresiones regulares

Digamos que tengo este código: val string = "one493two483three" val pattern = """two(\d+)three""".r pattern.findAllIn(string).foreach(println)EsperabafindAllIn solo regresar483, pero en cambio, regresótwo483three. Sé que podría usarunapply para ...

4 la respuesta

¿Por qué los objetos complementarios de clase de caso extienden FunctionN?

Cuando crea una clase de caso, el compilador crea un objeto complementario correspondiente con algunas de las ventajas de la clase de caso: unapply método de fábrica que coincide con el constructor primario,equals, hashCodeycopy. Curiosamente, ...

2 la respuesta

Play 2.4 - Slick 3.0.0 - DELETE no funciona

Estoy tratando de actualizar a Slick 3.0.0 y Play 2.4 (Scala), peroborrandoLas filas no funcionan. En el siguiente código, todo funciona: consultar todas las filas, insertar y actualizar, excepto eliminar. package dao import ...

1 la respuesta

Ordenar por valor en Spark pairRDD desde (Key, Value) donde el valor es de spark-sql

He creado un mapa como este: val b = a.map(x => (x(0), x) )Aquí b es del tipo org.apache.spark.rdd.RDD[(Any, org.apache.spark.sql.Row)] ¿Cómo puedo ordenar el PairRDD dentro de cada clave usando un campo de la fila de valor?Después de ...