Resultados da pesquisa a pedido "scala"
Igualdade de DataFrame no Apache Spark
Presumirdf1 edf2 são doisDataFrames no Apache Spark, calculado usando dois mecanismos diferentes, por exemplo, Spark SQL versus a API Scala / Java / Python. Existe uma maneira idiomática de determinar se os dois quadros de dados são equivalentes ...
Reproduzir estrutura substituindo valores `application.conf` com base no ambiente
Reproduzir 2.6.x Scala Eu tenho um padrãoapplication.conf dentro da pasta{project}/conf/ mas gostaria de substituir alguns valores, dependendo do ambiente, passando o respectivo arquivo como argumentos da linha de comando (conforme detalhado nos ...
Preenchendo lacunas nas séries temporais Spark
Tenho um problema ao lidar com dados de séries temporais. Devido a falhas de energia, alguns carimbos de data e hora estão ausentes no conjunto de dados. Preciso preencher essas lacunas adicionando linhas e, depois disso, posso interpolar os ...
Como explodir uma coluna separada por espaço?
Eu tenho um exemplo de quadro de dados no Spark Scala que contém uma coluna e muitas outras colunas com mais de 50 e precisa explodir o ID: dados de exemplo: id name address 234 435 567 auh aus 345 123 muji ukdados de saída: id name address ...
Agregações de linha no Scala
Estou procurando uma maneira de obter uma nova coluna em um quadro de dados no Scala que calcula omin/max dos valores emcol1, col2, ...,col10 para cada linha. Eu sei que posso fazer isso com uma UDF, mas talvez haja uma maneira mais ...
Estrutura de jogo e criação automática de banco de dados Slick
Estou usando o play 2.4 e o slick 3, é possível gerar scripts ddl automaticamente, são evoluções? Nos documentos oficiais, encontrei alguns scripts, mas onde devo colocá-lo no framework do ...
Usando campos de Incremento Automático com o PostgreSQL e o Slick
Como se insere registros no PostgreSQL usando chaves AutoInc com tabelas mapeadas do Slick? Se eu usar e Option para o id na minha classe case e configurá-lo...
Eliminando várias colunas do dataframe Spark, iterando pelas colunas de uma lista Scala de nomes de colunas
Eu tenho um quadro de dados que tem colunas em torno de 400, quero soltar 100 colunas conforme minha exigência. Então, eu criei uma lista Scala de 100 nomes de colunas. E então eu quero iterar através de um loop for para realmente soltar a coluna ...
De onde vem a expressão idiomática “flatmap that s ***” em Scala?
O que há de tão poderoso no flatmap que merece um lugar assim no folclore de Scal