Resultados de la búsqueda a petición "scala"
Cómo codificar valores de cadena en valores numéricos en Spark DataFrame
Tengo un DataFrame con dos columnas: df = Col1 Col2 aaa bbb ccc aaaQuiero codificar valores de cadena en valores numéricos. Logré hacerlo de esta manera: import org.apache.spark.ml.feature.{OneHotEncoder, StringIndexer} val indexer1 = new ...
¿Cómo implementar la deserialización en el consumidor kafka usando scala?
Tengo la siguiente línea en el código de mi consumidor kafka. val lines = KafkaUtils.createStream(ssc, zkQuorum, group, topicpMap).map(_._2) ¿Cómo deserializar este flujo de "líneas" en el objeto original? La serialización se implementó en el ...
¿Cuáles son las transformaciones de Spark que causan un Shuffle?
Tengo problemas para encontrar en la documentación de Spark las operaciones que provocan una confusión y una operación que no lo hace. En esta lista, ¿cuáles causan una confusión y cuáles no? Mapa y filtro no. Sin embargo, no estoy seguro con ...
Restricciones de validación JSON personalizadas en Play Framework 2.3 (Scala)
Logré implementar la validación de formularios con restricciones personalizadas, pero ahora quiero hacer lo mismo con los datos JSON. ¿Cómo puedo aplicar reglas de validación personalizadas a un analizador JSON? Ejemplo: la solicitud POST del ...
Ejecutar el ejemplo de spark scala falla
Soy nuevo en Spark y Scala. Creé un proyecto IntelliJ Scala con SBT y agregué algunas líneas a build.sbt. name := "test-one" version := "1.0" scalaVersion := "2.11.2" libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "1.1.0"Mi ...
Cómo convertir Scala RDD a Map
Tengo un RDD (matriz de cadenas)org.apache.spark.rdd.RDD[String] = MappedRDD[18] y convertirlo en un mapa con Ids únicos. Yo hice 'val vertexMAp = vertices.zipWithUniqueId'pero esto me dio otro RDD de tipo'org.apache.spark.rdd.RDD[(String, ...
Cómo invocar un método una y otra vez hasta que devuelva un valor `Futuro` que contenga` Ninguno`
Dado un método que devuelve unFuture Me gusta esto... def remove(id: String): Future[Option[User]] = Future { // removes and returns the user identified by `id` }... cómo lo invoco una y otra vez hasta que devuelva unFuture valor que ...
¿Hay una manera fácil de convertir un booleano en un entero?
Soy nuevo en scala y encuentro la necesidad de convertir un valor booleano en un entero. Sé que puedo usar algo comoif (x) 1 else 0 pero me gustaría saber si hay un método preferido, o algo integrado en el marco (es decirtoInt())
Spark Strutured Streaming convierte automáticamente la marca de tiempo a la hora local
Tengo mi marca de tiempo en UTC e ISO8601, pero usando Structured Streaming, se convierte automáticamente a la hora local. ¿Hay alguna manera de detener esta conversión? Me gustaría tenerlo en UTC. Estoy leyendo datos json de Kafka y luego los ...
¿Cómo arreglar chispa horriblemente malinterpretando csv?
Tengo dos archivos csv, uno con palabras clave para películas y otro con elenco y equipo. loskeywords.csv el archivo se ve así: $ head -n 3 keywords.csv id,keywords 862,"[{'id': 931, 'name': 'jealousy'}, {'id': 4290, 'name': 'toy'}, {'id': 5202, ...