Resultados de la búsqueda a petición "scala"
Sintaxis de tipo Scala
He observado que, si quiero hacer una función genérica que pueda aceptar una lista de cualquier tipo y devolver un valor booleano, puedo usar la siguiente sintaxis para una declaración de función: def someFunction[A](l:List[A]):BooleanSin ...
El proyecto Scala no se compilará en Eclipse; "No pudo encontrar la clase principal."
He instalado Eclipse 3.5.2 y el complemento Scala de / update-current (eso es Scala 2.8 final). Puedo compilar y ejecutar proyectos Scala que consisten en un único objeto singleton que implementa main (). Pero, si un proyecto contiene más ...
¿Cómo puedo guardar un RDD en HDFS y luego volver a leerlo?
Tengo un RDD cuyos elementos son de tipo (Long, String). Por alguna razón, quiero guardar todo el RDD en el HDFS, y luego también leer ese RDD en un programa Spark. ¿Es posible hacer eso? Y si es así, ¿cómo?
¿Puedo usar la biblioteca Scala lift-json para analizar un JSON en un mapa?
¿Hay alguna manera de usar la clase JObject de la biblioteca lift-json para actuar como un mapa? Por ejemplo: val json = """ { "_id" : { "$oid" : "4ca63596ae65a71dd376938e"} , "foo" : "bar" , "size" : 5} """ val record = JsonParser.parse(json) ...
Renombrar elementos anidados en Scala Spark Dataframe
Tengo un marco de datos Spark Scala con una estructura anidada: |-- _History: struct (nullable = true) | |-- Article: array (nullable = true) | | |-- element: struct (containsNull = true) | | | |-- Id: string (nullable = true) | | | |-- ...
Excepción al acceder a KafkaOffset desde RDD
Tengo un consumidor de Spark que se transmite desde Kafka. Estoy tratando de gestionar las compensaciones para la semántica de una sola vez. Sin embargo, al acceder al desplazamiento, arroja la siguiente ...
Secuencia de eventos de Akka Persistence Query y CQRS
Estoy tratando de implementar el lado de lectura en mi arquitectura ES-CQRS. Digamos que tengo un actor persistente como este: object UserWrite { sealed trait UserEvent sealed trait State case object Uninitialized extends State case class ...
¿Cómo llenar java.util.HashMap sobre la marcha desde el código Scala?
Estoy probando el código Java de ScalaTest y me gustaría llenar un java.util.HashMap dentro de la misma declaración que se declara. ¿Es posible hacer esto en Scala?
Lectura de varios archivos de S3 en Spark por período de fecha
DescripciónTengo una aplicación que envía datos a AWS Kinesis Firehose y los escribe en mi bucket de S3. Firehose utiliza el formato "aaaa / MM / dd / HH" para escribir los archivos. Como en este ejemplo de ruta ...
Filtre el marco de datos de chispa / escala si la columna está presente en el conjunto
Estoy usando Spark 1.4.0, esto es lo que tengo hasta ahora: data.filter($"myColumn".in(lit("A"), lit("B"), lit("C"), ...))La ...