Resultados da pesquisa a pedido "scala"
Circe instâncias para codificar / decodificar instâncias de característica selada da arity 0?
Estou usando traços selados como enumerações para uma correspondência exaustiva de padrões. Nos casos em que tenho objetos de caso em vez de classes de caso estendendo minha característica, eu gostaria de codificar e decodificar (via Circe ...
Scala - Primeiro quartil, terceiro quartil e IQR do dataframe spark SQLContext sem Hive
Eu tenho um quadro de dados: data.show() +--------+------+------------------+ | Count| mean| stdev| +--------+------+------------------+ | 5| 6337| 1684.569470220803| | 3| 7224| 567.8250904401182| | 330| 20280|23954.260831863092| | 42| ...
Como converter um RDD [Row] novamente para DataFrame [duplicate]
Esta pergunta já tem uma resposta aqui: Como converter objeto rdd em dataframe no spark [/questions/29383578/how-to-convert-rdd-object-to-dataframe-in-spark] 10 respostasEu tenho brincado com a conversão de RDDs para DataFrames e ...
Criando o projeto Scala mais básico com o Maven?
Eu uso o Maven 3 para criar um novo projeto Scala. Tanto quanto eu entendo, a maneira de criar um novo projeto com o Maven é: mvn archetype:generateTalvez eu esteja perdendo alguma coisa, mas não consegui encontrar sequer uma opção que ofereça o ...
O Akka Flow trava ao fazer solicitações HTTP via pool de conexão
Estou usando o Akka 2.4.4 e tentando sair do Apache HttpAsyncClient (sem êxito). Abaixo está a versão simplificada do código que eu uso no meu projeto. O problema é que ele trava se eu enviar mais de 1 a 3 solicitações para o fluxo. Até agora, ...
Como evitar dependências circulares ao usar o WebJarAssets & Play 2.5?
Depois que implementei o que foi sugerido por umresponda [https://stackoverflow.com/a/37051327/6118559]do meu ultimoPergunta, questão [https://stackoverflow.com/q/37043458/6118559], Recebi o seguinte erro ao acessar o aplicativo no ...
Como ler um arquivo do HDFS no map () rapidamente com o Spark
Preciso ler um arquivo diferente em cada mapa (), o arquivo está no HDFS val rdd=sc.parallelize(1 to 10000) val rdd2=rdd.map{x=> val hdfs = org.apache.hadoop.fs.FileSystem.get(new java.net.URI("hdfs://ITS-Hadoop10:9000/"), ...
akka-stream - Como tratar o último elemento de um fluxo de maneira diferente em um Flow / Graph
Estou tentando implementar um Akka StreamsFlow que converterá um fluxo de objetos JSON em um fluxo de uma única matriz de objetos JSON. Eu posso usarConcat para adicionar um "[" antes e "]" depois, bem comoZip para inserir vírgulas entre os ...
Qual é o impacto no desempenho da conversão entre `DataFrame`,` RDD` e vice-versa?
Enquanto meu primeiro instinto é usarDataFrames para tudo, simplesmente não é possível - algumas operações são claramente mais fáceis e / ou têm melhor desempenho comoRDD operações, para não mencionar certas APIs comoGraphX só trabalha ...
Adicionar jars a uma tarefa do Spark - spark-submit
É verdade ... já foi discutido bastante. No entanto, há muita ambiguidade e algumas das respostas fornecidas ... incluindo a duplicação de referências de jar nas opções ou na configuração de jars / executor / driver. Os detalhes ambíguos e / ou ...