Resultados de la búsqueda a petición "scala"
¿Cuándo debería (y no debería) usar la anotación @inline de Scala?
Creo que entiendo los conceptos básicos de las funciones en línea: en lugar de una llamada a la función que da como resultado que los parámetros se coloquen en la pila y se produzca una operación de invocación, la definición de la función se ...
Reproducir json Leer y parámetros predeterminados para la clase de caso?
Tengo un problema con los parámetros predeterminados y con Play Json Read. Aquí está mi código: case class Test(action: String, storeResult: Option[Boolean] = Some(true), returndata: Option[Boolean] = Some(true)) val json = """ {"action": ...
sbt dependencia no resuelta para spark-cassandra-connector 2.0.2
build.sbt: val sparkVersion = "2.1.1"; libraryDependencies += "org.apache.spark" %% "spark-core" % sparkVersion % "provided"; libraryDependencies += "org.apache.spark" %% "spark-sql" % sparkVersion % "provided"; libraryDependencies += ...
Acceso a elementos de WrappedArray
Tengo un marco de datos de chispa y aquí está el esquema: |-- eid: long (nullable = true) |-- age: long (nullable = true) |-- sex: long (nullable = true) |-- father: array (nullable = true) | |-- element: array (containsNull = true) | | |-- ...
Usando Scala 2.12 con Spark 2.x
En la chispa 2.1docs [https://spark.apache.org/docs/latest/]se menciona que Spark se ejecuta en Java 7+, Python 2.6 + / 3.4 + y R 3.1+. Para la API de Scala, Spark 2.1.0 usa Scala 2.11. Deberá usar una versión compatible de Scala (2.11.x). en ...
el tipo A covariante se produce en posición contravariante en el tipo A de valor a
Tengo la siguiente clase: case class Box[+A](value: A) { def set(a: A): Box[A] = Box(a) }Y el compilador se queja: Error:(4, 11) covariant type A occurs in contravariant position in type A of value a def set(a: A): Box[A] = Box(a)Estaba ...
Cómo evitar la optimización de Spark
A veces, Spark "optimiza" un marco de datos de manera ineficiente. Considere el siguiente ejemplo en Spark 2.1 (también se puede reproducir en Spark 1.6): val df = sparkContext.parallelize((1 to ...
¿Cómo dividir la columna de valores múltiples en filas separadas usando Dataset escrito?
Estoy enfrentando un problema de cómo dividir una columna de valores múltiples, es decirList[String], en filas separadas. El conjunto de datos inicial tiene los siguientes tipos:Dataset[(Integer, String, Double, ...
Scala - consulta de selección de objeto anónimo
Tengo una consulta original de C # LINQ: var rez = planes .Where(b => (b.FlDate >= dateFrom) && (b.FlDate <= dateTo)) .GroupBy(i => i.Destination) .Select(g => new { Destination = g.Key, Count = g.Count() }) .ToList();y reescribió el código ...
Izquierda Anti unirse a Spark?
He definido dos tablas como esta: val tableName = "table1" val tableName2 = "table2" val format = new SimpleDateFormat("yyyy-MM-dd") val data = List( List("mike", 26, true), List("susan", 26, false), List("john", 33, true) ) val data2 = ...