Resultados de la búsqueda a petición "scala"
retraso de la función de ventana de sql spark
Estoy mirando la función de diapositiva de ventana para un Spark DataFrame en Spark SQL, Scala. Tengo un marco de datos con columnas Col1, Col1, Col1, fecha. Col1 Col2 Col3 date volume new_col 201601 100.5 201602 120.6 100.5 201603 450.2 120.6 ...
Comprender el curry en Scala
Tengo problemas para entender el concepto de curry, o al menos la notación de curry SCALA. wikipedia [https://en.wikipedia.org/wiki/Currying#Mathematical_view]dice que curry es la técnica de traducir la evaluación de una función que toma ...
Cómo usar la extracción de características con DStream en Apache Spark
Tengo datos que llegan de Kafka a través de DStream. Quiero realizar una extracción de características para obtener algunas palabras clave. No quiero esperar la llegada de todos los datos (ya que está destinado a ser un flujo continuo que ...
scala thread safe HashSet
¿Cuáles son las formas posibles de hacer que un hilo HashSet sea seguro? Vio algunas muestras como se muestra a continuación. var test = new mutable.HashSet[Long] with mutable.SynchronizedSet[Long] SynchronizedSet está en desuso en la ...
guía para pasar del filtro a withFilter? [cerrado]
¿Existe una guía detallada para pasar de filter () a withFilter ()? Ahora recibo advertencias sobre mi uso de implementaciones de filter (), pero no puedo encontrar una guía fácil para pasar a withFilter () ...
Scala: Spark SQL to_date (unix_timestamp) que devuelve NULL
Spark Version: spark-2.0.1-bin-hadoop2.7 Scala: 2.11.8 Estoy cargando un csv en bruto en un DataFrame. En csv, aunque se admite que la columna esté en formato de fecha, se escriben como 20161025 en lugar de 2016-10-25. El parámetrodate_format ...
Spark SQL - cláusula IN
Me gustaría agregar la condición where para una columna con valores múltiples en DataFrame. Funciona por un solo valor, por ejemplo. df.where($"type".==="type1" && $"status"==="completed").¿Cómo puedo agregar múltiples valores para la misma ...
¿Función general de 'mapa' para las tuplas de Scala?
Me gustaría mapear los elementos de una tupla de Scala (o triple, ...) usando una sola función que devuelve el tipo R. El resultado debería ser una tupla (o triple, ...) con elementos de tipo R. OK, si los elementos de la tupla son del mismo ...
Escala emitida a un tipo variable
Tengo el siguiente código para emitirvaloral tipo dedefecto: def fct[T](value: Any, default: T): T = { val result = value.asInstanceOf[T] println(result, result.getClass.getName, result.isInstanceOf[T]) result } val res = fct("foo", 42)Que ...
La construcción de Scala se estrelló
He actualizado la versión scala y sbt a 2.12.0 y 0.13.8 respectivamente. Ahora cada compilación falla con errores: java.lang.VerifyError: Uninitialized object exists on backward branch 209 Exception Details: ...