Resultados de la búsqueda a petición "scala"
Obteniendo valores distintos en una columna usando Spark DataFrame
Al usar la versión 1.6.1 de Spark, necesito obtener valores distintos en una columna y luego realizar alguna transformación específica encima. La columna contiene más de 50 millones de registros y puede crecer más. Entiendo que hacer ...
Spark fusionar / combinar matrices en grupo Por / agregado
El siguiente código de Spark muestra correctamente lo que quiero hacer y genera la salida correcta con un pequeño conjunto de datos de demostración. Cuando ejecuto este mismo tipo general de código en un gran volumen de datos de producción, ...
Programas que se ejecutan aapt en android sdk desde shell y desde sbt
Tengo un problema extraño en el que no puedo ejecutar aapt desde un comando sbt ni desde el shell. Ejecuto este comando: paquete de actualización sbt-debug Y todo zumba hasta que recibo este error: java.io.IOException: Cannot run ...
Slick genérico y agnóstico del controlador
Básicamente, lo que quiero lograr es una combinación de: Agnostismo de base de datos Slick 3.0.0 [https://stackoverflow.com/questions/31105571/slick-3-0-0-database-agnostism]y Slick 3 repositorio genérico ...
Pase columnNames dinámicamente a cassandraTable (). Select ()
Estoy leyendo la consulta de un archivo en tiempo de ejecución y ejecutándola en el entorno SPark + Cassandra. Estoy ejecutando: sparkContext.cassandraTable.("keyspaceName", "colFamilyName").select("col1", "col2", "col3").where("some condition = ...
¿Por qué usar paréntesis vacíos en Scala si simplemente no podemos usar paréntesis para definir una función que no necesita ningún argumento?
Según tengo entendido, en Scala podemos definir una función sin parámetros, ya sea usando paréntesis vacíos después de su nombre, o sin paréntesis, y estas dos definiciones no son sinónimos. ¿Cuál es el propósito de distinguir estas 2 sintaxis y ...
¿Cómo guardar un DataFrame como CSV comprimido (comprimido)?
Yo uso Spark 1.6.0 y Scala. Quiero guardar un DataFrame como formato CSV comprimido. Esto es lo que tengo hasta ahora (supongo que ya tengodf ysc comoSparkContext): //set the conf to the codec I ...
División de la fila en varias filas en spark-shell
He importado datos en el marco de datos de Spark en spark-shell. Los datos se completan como: Col1 | Col2 | Col3 | Col4 A1 | 11 | B2 | a|b;1;0xFFFFFF A1 | 12 | B1 | 2 A2 | 12 | B2 | 0xFFF45BAquí en Col4, los valores son de diferentes tipos y ...
Enforce Bounded Nat?
¿Cómo puedo hacer cumplir unNat eso es<= N? Ejemplo: def lessThan5(x: NatLT5) = ??? dónde lessThan5(Nat(4)) compilaría, perolessThan5(Nat(6)) no lo haría
¿Qué tipo de retorno debe tener un método Scala si puede arrojar / devolver errores pero tiene el tipo de retorno Unidad?
Por lo general, cuando ejecutamos un método que puede fallar y devolver un valor, podemos codificar nuestro tipo de retorno de método comoEither[SomeErrorType, ReturnType]. Pero muchas veces estamos ejecutando un método para sus efectos ...