Resultados de la búsqueda a petición "scala"
Comparación de dos RDD
Tengo dos RDD [Array [String]], llamémoslas rdd1 y rdd2. Crearía un nuevo RDD que contiene solo las entradas de rdd2 que no están en rdd1 (basado en una clave). Yo uso Spark en Scala a través de Intellij. Agrupé rdd1 y rdd2 por una clave ...
¿Es posible llamar a un método anulado desde self type?
Considera esto: class Foo { def foo = "foo" } trait Bar { self: Foo => override def foo = "bar" }Me sorprendió gratamente descubrir que esto es posible y funciona como se esperaba: new Foo with Bar foodevuelve "bar". La pregunta es si es ...
La escala de tipos más altos en def implícito falla con "no se pudo encontrar el valor implícito"
Estoy usando def implícito para construir un recursivoHList tipo, para que coincida con varios tipos de tipos más altos deHList. Estoy muy inspirado por esta publicación [http://jnordenberg.blogspot.fr/2008/08/hlist-in-scala.html]. Este código ...
¿Cómo proporciono un valor implícito para un akka.stream.Materializer cuando envío un FakeRequest?
Intento dar sentido a los errores que veo a continuación y aprender a solucionarlos. could not find implicit value for parameter materializer: akka.Stream.Materializer val fut: Future[Result] = action.apply(fakeRequest).run ^ not enough ...
¿Cómo cambiar el tipo de columna de String a Date en DataFrames?
Tengo un marco de datos que tiene dos columnas (C, D) definidas como tipo de columna de cadena, pero los datos en las columnas son en realidad fechas. por ejemplo, la columna C tiene la fecha como "01-APR-2015" y la columna D como "20150401" ...
¿Por qué Scala puede serializar Function pero no PartialFunction?
Tengo 2 funciones (1 de ellas es parcial) definidas de manera similar bajo un objeto: val partialFn: scala.PartialFunction[String, Int] = new AbstractPartialFunction[String, Int] { override def isDefinedAt(v: String): Boolean = { counter += 1 if ...
No se puede importar sqlContext.implicits._ sin un error a través de Jupyter
Cuando trato de usar elimport sqlContext.implicits._ en mi cuaderno Jupyter, aparece el siguiente error: Name: Compile Error Message: <console>:25: error: stable identifier required, but $iwC.this.$VAL10.sqlContext.implicits found. import ...
¿Cómo usar java.String.format en Scala?
Estoy tratando de usar un.format método de una cadena. Pero si coloco% 1,% 2, etc. en la cadena, se arroja java.util.UnknownFormatConversionException apuntando a una pieza de código fuente Java confusa: private void checkText(String s) { int ...
akka-stream: cómo tratar el último elemento de una secuencia de manera diferente en un flujo / gráfico
Estoy tratando de implementar un Akka StreamsFlow eso convertirá una secuencia de objetos JSON en una secuencia de una sola matriz de objetos JSON. Puedo usarConcat para agregar un "[" antes y "]" después, así comoZip para insertar comas entre ...
Agregar frascos a un trabajo Spark - spark-submit
Es cierto ... se ha discutido bastante. Sin embargo, hay mucha ambigüedad y algunas de las respuestas proporcionadas ... incluida la duplicación de referencias jar en la configuración u opciones de jar / ejecutor / controlador. Los detalles ...