Resultados de la búsqueda a petición "scala"
Generador de permutación más rápido
He escrito un generador de permutación para las listas de Scala que genera todas las permutaciones de una lista dada. Hasta ahora, tengo lo siguiente basado en esta implementación de ...
Cómo cambiar el nombre del archivo de salida del marco de datos de chispa en AWS en spark SCALA
Estoy guardando mi salida de marco de datos de chispa como archivo csv en scala con particiones. Así es como hago eso enzepelín. val sqlContext = new org.apache.spark.sql.SQLContext(sc) import sqlContext.implicits._ import org.apache.spark.{ ...
Escribir / almacenar marco de datos en archivo de texto
Estoy tratando de escribirdataframe atext archivo. Si un archivo contiene una sola columna, puedo escribir en un archivo de texto. Si el archivo contiene varias columnas, entonces me enfrento a un error La fuente de datos de texto admite solo ...
Número máximo de columnas que podemos tener en el marco de datos Spark Scala
Me gusta saber el número máximo de columnas que puedo tener en el marco de datos. ¿Hay alguna limitación para mantener el número de columnas en los marcos de datos? Gracias.
envío de solicitud de chispa múltiple en modo independiente
Tengo 4 aplicaciones de chispa (para encontrar el recuento de palabras del archivo de texto) que está escrito en 4 idiomas diferentes (R, Python, Java, Scala) ./wordcount.R ./wordcount.py ./wordcount.java ./wordcount.scalaspark funciona en modo ...
Crear instancias de una clase de caso de una lista de parámetros
Dado: case class Foo(a: Int, b: String, c: Double)puedes decir: val params = Foo(1, "bar", 3.14).productIterator.toListy obten: params: List[Any] = List(1, bar, 3.14)¿Hay alguna manera de "ir hacia atrás" y recrear un objeto Foo directamente ...
Une dos tuberías Spark mllib juntas
Tengo dos separadosDataFrames que tienen varias etapas de procesamiento diferentes que usomllib transformadores en una tubería para manejar. Ahora quiero unir estas dos tuberías juntas, manteniendo las características (columnas) de ...
¿Cuál es la forma correcta de usar scala.io.Source?
En muchos ejemplos, es des, cribado que puede usar scala.io.Source para leer un archivo completo como este: val str = scala.io.Source.fromFile("test.txt").mkString()Pero no se menciona cerrar el flujo subyacente. ¿Por qué Scala no proporciona ...
Scala para comprensiones / bucles y patrones mecanografiados
De acuerdo con la sección 6.19 de la Especificación del lenguaje Scala esto para el bucle: for (e <-p) e'se traduce a: p <- e.withFilter{case p => true; case _ => false}.foreach{case p => e′} Entonces, ¿por qué este pequeño programa: object ...
Scala / Spark dataframes: encuentre el nombre de columna correspondiente al máximo
En Scala / Spark, tener un marco de datos: val dfIn = sqlContext.createDataFrame(Seq( ("r0", 0, 2, 3), ("r1", 1, 0, 0), ("r2", 0, 2, 2))).toDF("id", "c0", "c1", "c2")Me gustaría calcular una nueva columnamaxCol sosteniendo elnombrede la columna ...