Resultados da pesquisa a pedido "scala"
Scala: Como obter um intervalo de linhas em um dataframe
eu tenho umDataFrame criado executandosqlContext.read de um arquivo de parquet. oDataFrame consiste em 300 M. linhas. Preciso usar essas linhas como entrada para outra função, mas quero fazê-lo em lotes menores para evitar erros de ...
Digite o parâmetro em scala
Eu estou tentando entender os conceitos de parâmetro de tipo no scala. def sum [A] (a:A):A={a} // used single parameter and its working fine, able to pass any data type.Aqui: def sum[A](a:A,b:A):A={a+b} //declare two arguments <console>:7: ...
Arrays de mesclagem / combinação de faíscas no grupo
O código Spark a seguir demonstra corretamente o que eu quero fazer e gera a saída correta com um pequeno conjunto de dados de demonstração. Quando executo esse mesmo tipo geral de código em um grande volume de dados de produção, estou tendo ...
Slick genérico AND driver independente
Basicamente, o que eu quero alcançar é uma combinação de: Agnostismo do banco de dados Slick 3.0.0 [https://stackoverflow.com/questions/31105571/slick-3-0-0-database-agnostism]e Repositório genérico reutilizável Slick ...
Como posso salvar um RDD no HDFS e depois lê-lo novamente?
Eu tenho um RDD cujos elementos são do tipo (Long, String). Por alguma razão, quero salvar o RDD inteiro no HDFS e, posteriormente, também ler esse RDD novamente em um programa Spark. É possível fazer isso? E se sim, como?
Existe uma estrutura semelhante ao dbunit que não é uma droga para java / scala?
Eu estava pensando em criar uma nova estrutura de população de banco de dados leve. Eu absolutamente odeio dbunit. Antes de fazer isso, quero saber se alguém já fez isso. Coisas que não gosto no dbunit: 1) O formato mais simples de escrever e ...
A construção de Scala falhou
Atualizei a versão scala e sbt para 2.12.0 e 0.13.8, respectivamente. Agora toda construção falha com erros: java.lang.VerifyError: Uninitialized object exists on backward branch 209 Exception Details: ...
Prática recomendada para o uso de constantes em anotações de escala
Eu uso a tapeçaria 5 como minha escolha de estrutura da web. A tapeçaria me permite definir símbolos na classe de configuração e injetar símbolos em outros componentes. por exemplo, public interface SymbolConstants { static String ...
Quais são os possíveis motivos para receber TimeoutException: futuros atingiram o tempo limite após [n segundos] ao trabalhar com o Spark [duplicado]
Esta pergunta já tem uma resposta aqui: Por que a associação falha com "java.util.concurrent.TimeoutException: Futuros atingiram o tempo limite após [300 ...
Spark DataFrame: groupBy após orderBy mantém essa ordem?
Eu tenho um quadro de dados Spark 2.0example com a seguinte estrutura: id, hour, count id1, 0, 12 id1, 1, 55 .. id1, 23, 44 id2, 0, 12 id2, 1, 89 .. id2, 23, 34 etc.Ele contém 24 entradas para cada identificação (uma para cada hora do dia) e é ...