Resultados da pesquisa a pedido "apache-spark-sql"
como escrever caso com quando condição no spark sql usando scala
SELECT c.PROCESS_ID, CASE WHEN c.PAYMODE = 'M' THEN CASE WHEN CURRENCY = 'USD' THEN c.PREMIUM * c.RATE ELSE c.PREMIUM END * 12 ELSE CASE WHEN CURRENCY = 'USD' THEN c.PREMIUM * c.RATE ELSE c.PREMIUM END END VAlue FROM CMM cEu quero converter sql ...
Adicione uma nova coluna a um Dataframe. Nova coluna, eu quero que seja um gerador UUID
Eu quero adicionar uma nova coluna a um Dataframe, um gerador UUID. O valor UUID será parecido com21534cf7-cff9-482a-a3a8-9e7244240da7 Minha pesquisa: Eu tentei comwithColumn método na faísca. val DF2 = DF1.withColumn("newcolname", ...
Conversão entre spark.SQL DataFrame e pandas DataFrame [duplicado]
Esta pergunta já tem uma resposta aqui: Requisitos para converter o dataframe Spark em Pandas / R dataframe [/questions/30983197/requirements-for-converting-spark-dataframe-to-pandas-r-dataframe] 1 resposta Isso é possível para converter de ...
Como ativar a junção cartesiana no Spark 2.0? [duplicado
Esta pergunta já tem uma resposta aqui: spark.sql.crossJoin.enabled para Spark 2.x [/questions/38999140/spark-sql-crossjoin-enabled-for-spark-2-x] 3 respostas Preciso cruzar a junção de 2 dataframe no Spark 2.0 Estou encontrando o ...
qual é a diferença entre SparkSession e SparkContext? [duplicado
Esta pergunta já tem uma resposta aqui: Diferença entre SparkContext, JavaSparkContext, SQLContext e SparkSession? [/questions/43802809/difference-between-sparkcontext-javasparkcontext-sqlcontext-and-sparksession] 3 respostas Eu sei apenas a ...
Dataframe do filtro por valor NÃO presente na coluna de outro dataframe [duplicado]
Esta pergunta já tem uma resposta aqui: Filter Spark DataFrame com base em outro DataFrame que especifica os critérios da lista negra [/questions/39887526/filter-spark-dataframe-based-on-another-dataframe-that-specifies-blacklist-crite] 2 ...
Como otimizar o particionamento ao migrar dados da fonte JDBC?
Estou tentando mover dados de uma tabela na tabela do PostgreSQL para uma tabela do Hive no HDFS. Para fazer isso, criei o seguinte código: val conf = ...
park operação de quadro de dados no nível de linha e coluna usando scala
Quadro de dados original 0,2 0,3 +------+------------- -+ | name| country | +------+---------------+ |Raju |UAS | |Ram |Pak. | |null |China | |null |null | +------+--------------+ I Need this +------+--------------+ |Nwet|wet Con | ...
Como comparar os cabeçalhos do df com outros cabeçalhos df usando o Fuzzy Matching no pyspark?
Criei 3 quadros de dados executando o seguinte código. sample.csv id|code|name|Lname|mname 2|AA|BB|CC|DD| sample1.csv id|code|name|Lname|mname 1|A|B|C|D| sample2.csv id1|code1|name1|Lnam|mnam 3|AAA|BBB|CCC|DDD| Comparei os cabeçalhos dos ...
get primeiros N elementos da coluna ArrayType do dataframe no pyspark
Tenho um spark dataframe com linhas como - 1 | [a, b, c] 2 | [d, e, f] 3 | [g, h, i]gora, quero manter apenas os 2 primeiros elementos da coluna da matri 1 | [a, b] 2 | [d, e] 3 | [g, h]Como isso pode ser alcançado? ota - Lembre-se de que não ...