Resultados de la búsqueda a petición "scala"

4 la respuesta

Crear rango con valor final inclusivo al pisar

¿Hay alguna forma de crear un rango queincluye El valor final cuando se utiliza un paso que no se alinea? Por ejemplo, los siguientes rendimientos: scala> Range.inclusive(0, 35, 10) res3: scala.collection.immutable.Range.Inclusive = Range(0, ...

2 la respuesta

Cómo enumerar archivos en el directorio HDFS

¿Cómo enumero los archivos en el directorio HDFS? Esto es para enumerar archivos en el clúster Apache Spark usando Scala. Veo que hay una opción sc.textfile () pero eso también leerá el contenido. Quiero leer solo nombres de archivos. En ...

3 la respuesta

Scala: ¿Puede haber alguna razón para preferir `filter + map` en lugar de` collect`?

¿Puede haber alguna razón para preferirfilter+map: list.filter (i => aCondition(i)).map(i => fun(i))terminadocollect? : list.collect(case i if aCondition(i) => fun(i))El que tienecollect (una sola mirada) se ve más rápido y limpio para mí. Así ...

1 la respuesta

Anotación de parámetros de constructor en Scala

Anotar los parámetros del constructor parece no hacer nada cuando se compila en bytecode. No recibo advertencias del compilador tampoco. Los siguientes trabajos.getAnnotations Para elname campo devuelvejavax.annotation.Nullable. class Person { ...

0 la respuesta

OUTER JOIN en 2 MARCOS DE DATOS: Spark Scala SqlContext

Recibo un error al hacer uniones externas en 2 marcos de datos. Estoy tratando de obtener el percentil. val sqlContext = new org.apache.spark.sql.SQLContext(sc) val df = sqlContext.jsonFile("temp.txt") val res = ...

1 la respuesta

instalación de ventanas de chispa winutils

Estoy tratando de instalar Spark 1.6.1 en Windows 10 y hasta ahora he hecho lo siguiente ... Spark descargado 1.6.1, desempaquetado en algún directorio y luego configurar SPARK_HOMEScala 2.11.8 descargada, descomprimida en algún directorio y ...

3 la respuesta

cómo eliminar sublista

¿Cómo puedo eliminar todas las apariciones de una sublista de una lista, p. Ej. List(1, 2, 3, 4, 5, 6, 7, 4, 8, 9, 10, 5).removeSubList(4, 5)debería eliminar todas las apariciones de (4, 5) (en este orden), por lo que devuelve List(1, 2, 3, 6, ...

2 la respuesta

modificadores de acceso en scala con var y val

Me estoy confundiendo en el uso de var y val en los modificadores de acceso, el nombre es var, por lo tanto, podemos cambiarlo, está bien. Pero p es val, cómo podemos cambiar p.name = "Fred Flintstone" scala> class Person(var name: String) ...

1 la respuesta

Apache Spark que maneja datos sesgados

Tengo dos mesas que me gustaría unir. Uno de ellos tiene un sesgo de datos muy malo. Esto está causando que mi trabajo de chispa no se ejecute en paralelo ya que la mayoría del trabajo se realiza en una partición. Escuché y leí e intenté ...

1 la respuesta

Usar una función polimórfica para extraer un objeto de Opciones

La documentación sin forma explica cómo usar funciones polimórficas para crear una función que asigne objetos en un tipo de contenedor a otro, pero ¿qué pasa cuando desea desempaquetar cosas de su contenedor? Tengo una lista de opciones val ...