Resultados de la búsqueda a petición "scala"
Crear rango con valor final inclusivo al pisar
¿Hay alguna forma de crear un rango queincluye El valor final cuando se utiliza un paso que no se alinea? Por ejemplo, los siguientes rendimientos: scala> Range.inclusive(0, 35, 10) res3: scala.collection.immutable.Range.Inclusive = Range(0, ...
Cómo enumerar archivos en el directorio HDFS
¿Cómo enumero los archivos en el directorio HDFS? Esto es para enumerar archivos en el clúster Apache Spark usando Scala. Veo que hay una opción sc.textfile () pero eso también leerá el contenido. Quiero leer solo nombres de archivos. En ...
Scala: ¿Puede haber alguna razón para preferir `filter + map` en lugar de` collect`?
¿Puede haber alguna razón para preferirfilter+map: list.filter (i => aCondition(i)).map(i => fun(i))terminadocollect? : list.collect(case i if aCondition(i) => fun(i))El que tienecollect (una sola mirada) se ve más rápido y limpio para mí. Así ...
Anotación de parámetros de constructor en Scala
Anotar los parámetros del constructor parece no hacer nada cuando se compila en bytecode. No recibo advertencias del compilador tampoco. Los siguientes trabajos.getAnnotations Para elname campo devuelvejavax.annotation.Nullable. class Person { ...
OUTER JOIN en 2 MARCOS DE DATOS: Spark Scala SqlContext
Recibo un error al hacer uniones externas en 2 marcos de datos. Estoy tratando de obtener el percentil. val sqlContext = new org.apache.spark.sql.SQLContext(sc) val df = sqlContext.jsonFile("temp.txt") val res = ...
instalación de ventanas de chispa winutils
Estoy tratando de instalar Spark 1.6.1 en Windows 10 y hasta ahora he hecho lo siguiente ... Spark descargado 1.6.1, desempaquetado en algún directorio y luego configurar SPARK_HOMEScala 2.11.8 descargada, descomprimida en algún directorio y ...
cómo eliminar sublista
¿Cómo puedo eliminar todas las apariciones de una sublista de una lista, p. Ej. List(1, 2, 3, 4, 5, 6, 7, 4, 8, 9, 10, 5).removeSubList(4, 5)debería eliminar todas las apariciones de (4, 5) (en este orden), por lo que devuelve List(1, 2, 3, 6, ...
modificadores de acceso en scala con var y val
Me estoy confundiendo en el uso de var y val en los modificadores de acceso, el nombre es var, por lo tanto, podemos cambiarlo, está bien. Pero p es val, cómo podemos cambiar p.name = "Fred Flintstone" scala> class Person(var name: String) ...
Apache Spark que maneja datos sesgados
Tengo dos mesas que me gustaría unir. Uno de ellos tiene un sesgo de datos muy malo. Esto está causando que mi trabajo de chispa no se ejecute en paralelo ya que la mayoría del trabajo se realiza en una partición. Escuché y leí e intenté ...
Usar una función polimórfica para extraer un objeto de Opciones
La documentación sin forma explica cómo usar funciones polimórficas para crear una función que asigne objetos en un tipo de contenedor a otro, pero ¿qué pasa cuando desea desempaquetar cosas de su contenedor? Tengo una lista de opciones val ...