Resultados de la búsqueda a petición "scala"
¿Por qué obtengo un "parámetro faltante para la función expandida" en un caso y no en el otro?
Caso esto funciona: Seq(fromDir, toDir) find (!_.isDirectory) foreach (println(_))Mientras que esto no: Seq(fromDir, toDir) find (!_.isDirectory) foreach (throw new Exception(_.toString))La compilación termina con este error: error: missing ...
¿Cómo agregar un nuevo campo a la columna de estructura?
Tengo un marco de datos con algo como estodf.printSchema: root |-- ts: timestamp (nullable = true) |-- geoip: struct (nullable = true) | |-- city: string (nullable = true) | |-- continent: string (nullable = true) | |-- location: struct ...
scala Eliminar (en su lugar) todos los elementos de un ListBuffer que cumplan una condición
Tengo un ListBuffer. Quiero eliminar todos los elementos que cumplan una determinada condición. Podría iterar sobre él y eliminar cada elemento. Pero, ¿qué dice Scala sobre la mutación de una lista que está iterando? ¿Funcionará o eliminará los ...
Spark Structured Streaming - Procesando cada fila
Estoy usando transmisión estructurada con Spark 2.1.1. Necesito aplicar algo de lógica empresarial a los mensajes entrantes (de la fuente Kafka). esencialmente, necesito recoger el mensaje, obtener algunos valores clave, buscarlos en HBase y ...
¿Cómo construir Dataframe desde un archivo Excel (xls, xlsx) en Scala Spark?
Tengo un granExcel(xlsx and xls) archivo con varias hojas y necesito convertirlo aRDD oDataframe para que pueda unirse a otrodataframe más tarde. Estaba pensando en usarApache POI [https://poi.apache.org/]y guardarlo comoCSV y luego ...
¿Cómo concatenar múltiples columnas en una sola columna (sin conocimiento previo de su número)?
Digamos que tengo el siguiente marco de datos: agentName|original_dt|parsed_dt| user|text| +----------+-----------+---------+-------+----+ |qwertyuiop| 0| 0|16102.0| 0| Deseo crear un nuevo marco de datos con una columna más que tenga ...
Cómo leer un archivo Excel en Scala [cerrado]
¿Hay alguna manera de leer un archivo de Excel en Scala (xls no csv)? Quiero decir, ¿hay alguna biblioteca de Scala para hacerlo?
La unión automática no funciona como se esperaba con la API DataFrame
Estoy tratando de obtener los últimos registros de una tabla usando self join. Funciona usandospark-sql pero no funciona con chispaDataFrame API ¿Alguien puede ayudar? ¿Es un error? Estoy usando Spark 2.2.0 en modo local Creando ...
Scala pone de relieve la función mínima
Creemos un valor por el bien de esta pregunta: val a = 1 :: Nilahora, puedo demostrar que las funciones anónimas se pueden escribir en forma abreviada como esta: a.map(_*2)¿Es posible escribir una abreviatura de esta función ?: a.map((x) => ...
Número de particiones predeterminado de Spark RDD
Versión: Spark 1.6.2, Scala 2.10 Estoy ejecutando los siguientes comandos en elspark-shell. Estoy tratando de ver la cantidad de particiones que Spark está creando por defecto. val rdd1 = sc.parallelize(1 to 10) println(rdd1.getNumPartitions) ...