Resultados de la búsqueda a petición "scala"
Spark SQL fechado en segundos
Tengo el siguiente código: table.select(datediff(table.col("Start Time"), table.col("End Time"))).show()El formato de fecha es2016-05-19 09:23:28 (YYYY-MM-DD HH:mm:SS) FunciónfechadoCalcule la diferencia en días. Pero me gustaría tener ...
Caché de objetos en ejecutores de Spark
Una buena pregunta para los expertos de Spark. Estoy procesando datos en unmap operación (RDD). Dentro de la función de mapeador, necesito buscar objetos de claseA para ser utilizado en el procesamiento de elementos en un RDD. Dado que esto se ...
SBT no puede encontrar las credenciales al intentar descargar desde un repositorio virtual de Artifactory
Estoy tratando de ejecutar SBT detrás de un firewall corporativo. Otro equipo ha configurado un proxy Artifactory. Este proxy funciona bien con el acceso anónimo activado, pero cuando lo solicitamos requiere una contraseña, cree que comienza a ...
En Spark Streaming, ¿hay alguna forma de detectar cuándo ha finalizado un lote?
Yo uso Spark 1.6.0 con Cloudera 5.8.3. tengo unDStream objeto y muchas transformaciones definidas encima de él, val stream = KafkaUtils.createDirectStream[...](...) val mappedStream = stream.transform { ... }.map { ... } mappedStream.foreachRDD ...
Scala Spark contiene vs. no contiene
Puedo filtrar, como se muestra a continuación, las tuplas en un RDD usando "contiene". Pero, ¿qué pasa con el filtrado de un RDD usando "no contiene"? val rdd2 = rdd1.filter(x => x._1 contains ".")No puedo encontrar la sintaxis para esto. ...
función genérica scala tipo de retorno
Intenté escribir una función con un tipo de retorno genérico, pero no funciona a menos que emita el tipo de retorno. Por favor vea la funcióngetSomething() a continuación esperaba que funcionara sin el casting. ¿Qué podría estar haciendo mal ...
Cómo implementar la primera búsqueda de amplitud en Scala con FP
Me pregunto cómo implementar unBúsqueda de amplitud [https://en.wikipedia.org/wiki/Breadth-first_search]en Scala, utilizando programación funcional. Aquí está mi primer código impuro: def bfs[S](init: S, f: S => Seq[S], finalS: S => Boolean): ...
¿Por qué falla el uso de caché en conjuntos de datos de transmisión con "AnalysisException: las consultas con fuentes de transmisión deben ejecutarse con writeStream.start ()"?
SparkSession .builder .master("local[*]") .config("spark.sql.warehouse.dir", "C:/tmp/spark") .config("spark.sql.streaming.checkpointLocation", "C:/tmp/spark/spark-checkpoint") .appName("my-test") .getOrCreate .readStream .schema(schema) ...
Operador de tubería Scalaz conectado con un método de lista
Soy un novato enScala, pero tengo algo de experiencia en el usoOCaml. Estoy pensando en adoptar el operador de tubería definido enScalaz de la siguiente manera: import scalaz._ import Scalaz._ def test = { def length2(x:String) = List(x.length * ...
scala sbt y proxy corporativo - SunCertPathBuilderException
Cuando intento usar SBT, algunos archivos no se pueden descargar con el siguiente error: Error de acceso al servidor: sun.security.validator.ValidatorException: error en la construcción de la ruta ...