Resultados de la búsqueda a petición "scala"
Registre UDF en SqlContext desde Scala para usar en PySpark
¿Es posible registrar un UDF (o función) escrito en Scala para usar en PySpark? P.ej.: val mytable = sc.parallelize(1 to 2).toDF("spam") mytable.registerTempTable("mytable") def addOne(m: Integer): Integer = m + 1 // Spam: 1, 2En Scala, ahora es ...
Lista H de mapa sin forma según los tipos de destino
Tengo el siguiente problema, quiero asignar elementos de una HList a otra HList, pero las cadenas en la HList de origen solo deben convertirse a URL si el tipo de "destino" es URL. val name = "Stackoverflow" val url = ...
¿Cómo almacenar en caché los resultados en scala?
Esta página [http://lampwww.epfl.ch/~odersky/whatsnew/collections-api/collections_10.html] tiene una descripción de Map'sgetOrElseUpdate método de uso: object WithCache{ val cacheFun1 = collection.mutable.Map[Int, Int]() def fun1(i:Int) = i*i ...
¿Cómo almacenar objetos personalizados en el conjunto de datos?
De acuerdo aPresentación de conjuntos de datos de Spark [https://databricks.com/blog/2016/01/04/introducing-spark-datasets.html]: Mientras esperamos Spark 2.0, planeamos algunas mejoras interesantes para los conjuntos de datos, específicamente: ...
Spark Build Custom Column Function, función definida por el usuario
Estoy usando Scala y quiero construir mi propia función DataFrame. Por ejemplo, quiero tratar una columna como una matriz, recorrer cada elemento y hacer un cálculo. Para comenzar, estoy tratando de implementar mi propio método getMax. ...
Acceso a atributos XML con espacios de nombres
¿Cómo se puede acceder a los atributos con espacios de nombres? Mis datos XML están en un formulario val d = <z:Attachment rdf:about="#item_1"></z:Attachment>pero lo siguiente no coincide con el atributo (d \\ "Attachment" \ ...
¿Cómo modificar un Spark Dataframe con una estructura compleja anidada?
Tengo una estructura DataFrame compleja y me gustaría anular una columna fácilmente. He creado clases implícitas que conectan la funcionalidad y abordan fácilmente las estructuras 2D DataFrame, pero una vez que DataFrame se vuelve más complicado ...
Inicie HiveThriftServer mediante programación en Python
En el shell de chispa (scala), importamos, org.apache.spark.sql.hive.thriftserver._ para iniciar el servidor Hive Thrift programáticamente para un contexto de colmena particular como HiveThriftServer2.startWithContext (hiveContext) para exponer ...
Play Framework - Redirigir con params
Estoy tratando de averiguar cómo hacer una redirección dentro de una acción del controlador en Play (2.0) usando Scala.La redirección utilizando
Función que genéricamente toma un tipo y devuelve el mismo tipo.
Me cuesta entender por qué el compilador de Scala no está contento con esta definición de función: