Resultados de la búsqueda a petición "scala"
Agregar datos nuevos a archivos de parquet particionados
Estoy escribiendo un proceso ETL donde tendré que leer los archivos de registro por hora, particionar los datos y guardarlos. Estoy usando Spark (en Databricks). Los archivos de registro son CSV, así que los leo y aplico un esquema, luego realizo ...
inferencia de tipo scala con _ marcador de posición
List("This","is","Scala").foreach(a => print(a+" "))compila bien, pero List("This","is","Scala").foreach(print(_+" "))falla al quejarse del tipo de parámetro faltante. No pude entender por qué falla. EDITAR: quise decir imprimir no imprimir, no ...
Spark: Agregar columna al marco de datos condicionalmente
Estoy tratando de tomar mis datos de entrada: A B C -------------- 4 blah 2 2 3 56 foo 3Y agregue una columna al final según si B está vacío o no: A B C D -------------------- 4 blah 2 1 2 3 0 56 foo 3 1Puedo hacer esto fácilmente registrando ...
Velocidad de compilación Java vs velocidad de compilación Scala
He estado programando en Scala por un tiempo y me gusta, pero una cosa que me molesta es el tiempo que toma compilar programas. Parece algo pequeño, pero con Java podría hacer pequeños cambios en mi programa, hacer clic en el botón Ejecutar en ...
Convierta scala List [String] / List [Object] en model / HList / tuple
Un sistema externo devuelve Seq [String] (tipo de DB, salida como CSV / json), es una envoltura de tipos base: cadena / números. Prefiero trabajar con mi propio modelo. object Converter { type Output = (Int, String, Double) // for instance ...
¿Cómo puedo crear pares clave-valor?
He usadogroupByKey en mis pares clave-valor. Ahora tengo esto (clave, Iterable). Quiero hacer estos pares clave-valor a partir de él: ((clave, (un elemento de la lista)), 1) para toda la lista v. ¿Cómo puedo hacer esto? ¿Cómo se puede recorrer ...
Slick 3.0 inserción o actualización masiva (upsert)
¿Cuál es la forma correcta de hacer un insertOrUpdate masivo en Slick 3.0? Estoy usando MySQL donde la consulta apropiada sería INSERT INTO table (a,b,c) VALUES (1,2,3),(4,5,6) ON DUPLICATE KEY UPDATE c=VALUES(a)+VALUES(b);INSERT o ...
Finalizan los trabajos de Spark pero la aplicación tarda en cerrarse
Ejecución del trabajo de chispa utilizando scala, como se esperaba, todos los trabajos están terminando a tiempo, pero de alguna manera algunos registros de INFORMACIÓN se imprimen durante 20-25 minutos antes de que el trabajo ...
¿Hay un equivalente a SuppressWarnings en Scala?
Me preguntaba si Scala tenía un equivalente al de Java@SuppressWarnings [http://download.oracle.com/javase/1.5.0/docs/api/java/lang/SuppressWarnings.html] que se puede aplicar a una función o lo que sea para ignorar cualquier advertencia de ...
RDD se divide y agrega en nuevos RDD
Tengo un RDD de(String,String,Int). Quiero reducirlo en base a las dos primeras cadenasY luego, en función de la primera cadena, quiero agrupar el (cadena, int) y ordenarlosDespués de ordenar, necesito agruparlos en pequeños grupos, cada uno con ...