Resultados de la búsqueda a petición "scala"
Cómo agregar una nueva columna Struct a un DataFrame
Actualmente estoy tratando de extraer una base de datos de MongoDB y usar Spark para ingerir ElasticSearch congeo_points. La base de datos de Mongo tiene valores de latitud y longitud, pero ElasticSearch requiere que se incluyan en elgeo_point ...
Convertir clases de casos anidados en mapas anidados usando Shapeless
Estoy tratando de resolveresta [https://stackoverflow.com/questions/31528379/scala-macros-for-nested-case-classes-to-map-and-other-way-around] pregunta usando Shapeless, en resumen, se trata de convertir una clase de caso anidada a Map [String, ...
Repita eficientemente un carácter / cadena n veces en Scala
Me gustaría hacer lo siguiente de manera más eficiente: def repeatChar(char:Char, n: Int) = List.fill(n)(char).mkString def repeatString(char:String, n: Int) = List.fill(n)(char).mkString repeatChar('a',3) // res0: String = aaa ...
Error de 'Conexión rechazada' al ejecutar Spark Streaming en la máquina local
Sé que ya hay muchos hilos sobre problemas de 'conexión de transmisión de chispa rechazada'. Pero la mayoría de estos están en Linux o al menos apuntan a HDFS. Estoy ejecutando esto en mi computadora portátil local con Windows. Estoy ejecutando ...
Conversión de RDD a La LabelPoint
Si tengo un RDD con aproximadamente 500 columnas y 200 millones de filas, yRDD.columns.indexOf("target", 0) muestraInt = 77 que me dice que mi variable dependiente objetivo está en la columna número 77. Pero no tengo suficiente conocimiento sobre ...
Futuros - mapa vs plano
He leído los documentos sobremap yflatMap y entiendo queflatMap se utiliza para una operación que acepta unFuture parámetro y devuelve otroFuture. Lo que no entiendo completamente es por qué querría hacer esto. Toma este ejemplo: El usuario ...
Convertir Map [String, Any] en una clase de caso usando Shapeless
La preguntaaquí [https://stackoverflow.com/questions/31633563/converting-nested-case-classes-to-nested-maps-using-shapeless] pregunta sobre el mapeo de una clase de caso a un Map [String, Any]. Me preguntaba qué sería al revés, convirtiendo Map ...
error: no encontrado: valor sc
Soy nuevo en Scala y estoy tratando de codificar leer un archivo usando el siguiente código scala> val textFile = sc.textFile("README.md") scala> textFile.count()Pero sigo recibiendo el siguiente error error: not found: value scHe intentado ...
Límites para el parámetro tipo de FunctionK
Estoy usandocats FreeMonad [https://typelevel.org/cats/datatypes/freemonad.html] . Aquí hay una versión simplificada del álgebra: sealed trait Op[A] object Op { final case class Get[T](name: String) extends Op[T] type OpF[A] = Free[Op, A] def ...
Combina dos RDD en Spark Scala
Tengo dos RDD. rdd1 = (Cadena, Cadena) key1, value11 key2, value12 key3, value13rdd2 = (Cadena, Cadena) key2, value22 key3, value23 key4, value24Necesito formar otro RDD con filas combinadas de rdd1 y rdd2, la salida debería verse así: key2, ...