Resultados de la búsqueda a petición "scala"
Alcanzar concurrencia al guardar en un archivo de parquet particionado
Al escribir undataframe aparquet utilizandopartitionBy : df.write.partitionBy("col1","col2","col3").parquet(path) Sería mi expectativa que cada partición que se está escribiendo se hiciera independientemente por una tarea separada y en paralelo ...
Conversión de matriz de cadenas en Spark a matriz de bytes y recuperación de nuevo utilizando UDFs
Estoy tratando de convertir Array of Strings a byte-array en Spark y volver a convertir el byte-array a Array of Strings. Sin embargo, no estoy recuperando la matriz de cadenas como tengo la intención. Aquí está el código - // UDFs for ...
spark - problema de espacio de almacenamiento dinámico de Java - ExecutorLostFailure - contenedor salido con estado 143
Estoy leyendo la cadena que tiene una longitud de más de 100k bytes y estoy dividiendo las columnas según el ancho. Tengo cerca de 16K columnas que dividí de la cadena anterior en función del ancho. pero mientras escribo en el parquet estoy ...
Scala UDF que devuelve 'El esquema para el tipo Unidad no es compatible'
Quiero hacer cambios en una columna en el marco de datos. La columna es una matriz para enteros. Quiero reemplazar elementos de la matriz, tomando el índice de otra matriz y reemplazando ese elemento con un elemento de la tercera ...
¿Hay alguna razón para no usar SparkContext.getOrCreate al escribir un trabajo de chispa?
Estoy escribiendo Spark Jobs que hablan con Cassandra en Datastax. veces, cuando se trabaja a través de una secuencia de pasos en un trabajo de Spark, es más fácil obtener un nuevo RDD en lugar de unirse al anterior. Puedes hacer esto ...
¿Cuándo deberíamos usar scala.util.DynamicVariable?
Cuando leí la fuente de scalatra, descubrí que hay algunos códigos como: protected val _response = new DynamicVariable[HttpServletResponse](null) protected val _request = new DynamicVariable[HttpServletRequest](null)Hay una clase interesante ...
help reescritura en estilo funcional
Estoy aprendiendo Scala como mi primer lenguaje funcional. Como uno de los problemas, estaba tratando de encontrar una forma funcional de generar la secuencia S hasta n lugares. S se define de modo que S (1) = 1 y S (x) = el número de veces que ...
Por qué implementa el método abstracto usando val y call desde la superclase en la expresión val return NullPointerException
Tengo una clase abstracta con un método no implementadonumbers que devuelve una lista de números, y este método se utiliza en otra inicialización de la propiedad val: abstract class Foo { val calcNumbers = numbers.map(calc) def ...
Representar parámetros anidados para la consulta Neo4j en Scala
Intenté ejecutar consultas Neo4j con parámetros en forma de Mapa [String, Anyref] que funciona bien. Sin embargo, me gustaría enviar los datos a Neo4j en forma de lote para que el resultado sea Map [String, Map [String, AnyRef]] o Map [String, ...
funcional try & catch con Scala
¿Hay una forma más idomática de abrir un recurso en Scala y aplicarle métodos que este método (traducido directamente desde Java), usandovals pero también incluyendo finalmente, etc. var is:FileInputStream = null try { is = new ...