Resultados de la búsqueda a petición "scala"
¿Cuál es el impacto en el rendimiento de la conversión entre `DataFrame`,` RDD` y viceversa?
Mientras que mi primer instinto es usarDataFrames para todo, simplemente no es posible: algunas operaciones son claramente más fáciles y / o funcionan mejor comoRDD operaciones, sin mencionar ciertas API comoGraphX solo trabajar enRDDs. Parece ...
Cómo usar la capacidad programática de envío de chispas
Hay una característica algo reciente (primavera de 2015) aparentemente destinada a permitir el envío programático de un trabajo de chispa. Aquí está la ...
Llamar a un método en juego WebSocket en Scala
Soy nuevo en scala, Play framework y Akka. Tengo una función definida como def socket = WebSocket.accept[String, String] { request => ActorFlow.actorRef(out => MyWebSocketActor.props(out)) }Esto quiero llamar desde otra clase. No tengo claro ...
Spark Dataframe groupBy con secuencia como claves argumentos [duplicado]
Esta pregunta ya tiene una respuesta aquí: Múltiples operaciones agregadas en la misma columna de un marco de datos de chispa [/questions/34954771/multiple-aggregate-operations-on-the-same-column-of-a-spark-dataframe] 2 respuestasTengo un ...
¿Cómo crear DataFrame de la Lista de Iterables de Scala?
Tengo el siguiente valor de Scala: val values: List[Iterable[Any]] = Traces().evaluate(features).toListy quiero convertirlo en un DataFrame. Cuando intento lo siguiente: sqlContext.createDataFrame(values)Tengo este error: error: overloaded ...
VectorAssembler no es compatible con la conversión de chispa scala tipo StringType
Tengo un marco de datos que contiene columnas de cadena y estoy planeando usarlo como entrada para k-means usando spark y scala. Estoy convirtiendo mis columnas de tipo cadena del marco de datos utilizando el siguiente método: val toDouble = ...
scala, obtenga valores de Some (value)
Actualmente estoy tratando de leerme en scala. Pero me quedé atrapado en lo siguiente: val value: String = properties(j).attribute("value").toString print(value)La propiedad xml se lee y se convierte en una cadena, pero se ve como ...
scala play json No se ha encontrado la función no aplicar o no aplicarSeq
Este ejemplo de mapeo automatizado JSON de la documentación del juego falla. ¿por qué?https://www.playframework.com/documentation/2.5.x/ScalaJsonAutomated [https://www.playframework.com/documentation/2.5.x/ScalaJsonAutomated] libraryDependencies ...
Lea el tema de Kafka en un trabajo por lotes de Spark
Estoy escribiendo un trabajo por lotes de Spark (v1.6.0) que lee un tema de Kafka. Para esto puedo usarorg.apache.spark.streaming.kafka.KafkaUtils#createRDD sin embargo, necesito establecer las compensaciones para todas las particiones y también ...
Cómo registrar el byte [] [] usando la serialización de kryo para spark
Estoy tratando de utilizar completamente la serialización de kryo para la chispa. Ajuste .set("spark.kryo.registrationRequired", "true")Esto me permitirá saber qué clases deben registrarse. He registrado alrededor de 40 clases, algunas de ...