Resultados de la búsqueda a petición "apache-spark-sql"
Spark union: todos los marcos de datos múltiples
Para un conjunto de marcos de datos val df1 = sc.parallelize(1 to 4).map(i => (i,i*10)).toDF("id","x") val df2 = sc.parallelize(1 to 4).map(i => (i,i*100)).toDF("id","y") val df3 = sc.parallelize(1 to 4).map(i => (i,i*1000)).toDF("id","z")a la ...
Spark SQL broadcast hash join
Estoy tratando de realizar una unión hash de difusión en marcos de datos usando SparkSQL como se documenta ...
PySpark convierte una columna de tipo 'mapa' en varias columnas en un marco de datos
EntradaTengo una columnaParameters de tipomap de la forma: >>> from pyspark.sql import SQLContext >>> sqlContext = SQLContext(sc) >>> d = [{'Parameters': {'foo': '1', 'bar': '2', 'baz': 'aaa'}}] >>> df = sqlContext.createDataFrame(d) >>> ...
Agregando múltiples columnas con función personalizada en Spark
Me preguntaba si hay alguna forma de especificar una función de agregación personalizada para marcos de datos de chispa en varias columnas. Tengo una tabla como esta del tipo (nombre, artículo, precio): john | tomato | 1.99 john | carrot | 0.45 ...
buscar más de 20 filas y mostrar el valor completo de la columna en spark-shell
estoy usandoCassandraSQLContext desde spark-shell a consultar datos de Cassandra. Por lo tanto, quiero saber dos cosas: cómo obtener más de 20 filas usandoCassandraSQLContext y segundo, ¿cómo mostrar Id el valor completo de la columna? Como puede ...
Agregar una columna de filas de filas en una lista de columnas en Spark Dataframe
Tengo un marco de datos Spark con varias columnas. Quiero agregar una columna al marco de datos que es una suma de un cierto número de columnas. Por ejemplo, mis datos se ven así: ID var1 var2 var3 var4 var5 a 5 7 9 12 13 b 6 4 3 20 17 c 4 9 4 ...
Comprender el plan físico de chispa
Estoy tratando de entender los planes físicos en spark pero no entiendo algunas partes porque parecen diferentes de los rdbms tradicionales. Por ejemplo, en este plan a continuación, es un plan sobre una consulta sobre una tabla de colmena. La ...
¿Cómo importar múltiples archivos csv en una sola carga?
Considere que tengo un esquema definido para cargar 10 archivos csv en una carpeta. ¿Hay alguna manera de cargar tablas automáticamente usando Spark SQL? Sé que esto se puede realizar mediante el uso de un marco de datos individual para cada ...
cómo escribir caso con cuando condición en spark sql usando scala
SELECT c.PROCESS_ID, CASE WHEN c.PAYMODE = 'M' THEN CASE WHEN CURRENCY = 'USD' THEN c.PREMIUM * c.RATE ELSE c.PREMIUM END * 12 ELSE CASE WHEN CURRENCY = 'USD' THEN c.PREMIUM * c.RATE ELSE c.PREMIUM END END VAlue FROM CMM cquiero convertir sql ...
Agregue una nueva columna a un marco de datos. Nueva columna quiero que sea un generador de UUID
Quiero agregar una nueva columna a un Dataframe, un generador de UUID. El valor de UUID se verá algo así21534cf7-cff9-482a-a3a8-9e7244240da7 Mi investigación: He intentado conwithColumn método en chispa. val DF2 = DF1.withColumn("newcolname", ...