Resultados de la búsqueda a petición "scala"
Spark union: todos los marcos de datos múltiples
Para un conjunto de marcos de datos val df1 = sc.parallelize(1 to 4).map(i => (i,i*10)).toDF("id","x") val df2 = sc.parallelize(1 to 4).map(i => (i,i*100)).toDF("id","y") val df3 = sc.parallelize(1 to 4).map(i => (i,i*1000)).toDF("id","z")a la ...
¿Cómo obtener la opción de crear una nueva hoja de trabajo Scala en IntelliJ?
Estoy usando Kubuntu 14.4, tengo instalado Scala 2.9.2 e IntelliJ 2016.1 con el complemento Scala en la versión 3.0.2. Cuando creo un nuevo proyecto Scala (no proyecto sbt) y luego hago clic derecho ensrc y entoncesnew, Espero la opción de crear ...
buscar más de 20 filas y mostrar el valor completo de la columna en spark-shell
estoy usandoCassandraSQLContext desde spark-shell a consultar datos de Cassandra. Por lo tanto, quiero saber dos cosas: cómo obtener más de 20 filas usandoCassandraSQLContext y segundo, ¿cómo mostrar Id el valor completo de la columna? Como puede ...
Agregando múltiples columnas con función personalizada en Spark
Me preguntaba si hay alguna forma de especificar una función de agregación personalizada para marcos de datos de chispa en varias columnas. Tengo una tabla como esta del tipo (nombre, artículo, precio): john | tomato | 1.99 john | carrot | 0.45 ...
¿Crear el proyecto Scala más básico con Maven?
Yo uso Maven 3 para crear un nuevo proyecto Scala. Hasta donde entiendo, la forma de crear un nuevo proyecto con Maven es: mvn archetype:generateTal vez me estoy perdiendo algo, pero no pude encontrar ni una sola opción que ofrezca el proyecto ...
Blowfish encripta en Java / Scala y descifra en bash
Estoy tratando de construir una herramienta para descifrar contenido en bash cifrado en una aplicación scala: Pero primero, tengo que codificar el mismo mensaje en ambos idiomas y hacer que sean iguales: Dada la frase de contraseña ...
¿Cómo agrego dinámicamente el origen al gráfico existente?
¿Qué puede ser una alternativa para cambiar dinámicamente el gráfico en ejecución? Aquí está mi situación. Tengo un gráfico que ingiere artículos en DB. Los artículos provienen de 3 complementos en diferentes formatos. Así tengo varios ...
Agregar una columna de filas de filas en una lista de columnas en Spark Dataframe
Tengo un marco de datos Spark con varias columnas. Quiero agregar una columna al marco de datos que es una suma de un cierto número de columnas. Por ejemplo, mis datos se ven así: ID var1 var2 var3 var4 var5 a 5 7 9 12 13 b 6 4 3 20 17 c 4 9 4 ...
¿Cómo devolver un NodeSeq vacío usando Scala XML?
Estoy construyendo un XML por partes usando diferentes funciones como el siguiente ejemplo: <xml> { maybeXml(param) } </xml>Y tratando de devolver un NodeSeq vacío o no vacío basado en el valor del parámetro como: def maybeXml(param: Boolean): ...
Combinar archivos CSV de salida de Spark con un solo encabezado
Quiero crear una tubería de procesamiento de datos en AWS para eventualmente usar los datos procesados para Machine Learning. Tengo un script Scala que toma datos sin procesar de S3, los procesa y los escribe en HDFS o incluso S3 conSpark-CSV. ...