Resultados da pesquisa a pedido "scala"
Os trabalhos do Spark terminam, mas o aplicativo leva tempo para fechar
Executando o trabalho de faísca usando scala, como esperado, todos os trabalhos estão terminando no prazo, mas, de alguma forma, alguns logs INFO são impressos por 20 a 25 minutos antes do trabalho ser interrompido. Publicando algumas capturas ...
Inserção ou atualização em massa do Slick 3.0 (upsert)
qual é a maneira correta de fazer um insertOrUpdate em massa no Slick 3.0? Estou usando o MySQL onde a consulta apropriada seria INSERT INTO table (a,b,c) VALUES (1,2,3),(4,5,6) ON DUPLICATE KEY UPDATE c=VALUES(a)+VALUES(b);INSERT ou UPDATE em ...
Como posso criar pares de valores-chave?
Eu tenho usadogroupByKey nos meus pares de valores-chave. Agora eu tenho isso (chave, iterável). Quero criar esses pares de valores-chave: ((chave, (um elemento da lista)), 1) para toda a lista v. Como posso fazer isso? Como pode fazer um loop ...
Converter scala List [String] / List [Object] em model / HList / tuple
Um sistema externo retorna Seq [String] (tipo de banco de dados, saída como CSV / json), é o agrupamento dos tipos de base: string / numbers. Prefiro trabalhar com meu próprio modelo. object Converter { type Output = (Int, String, Double) // for ...
Erro ao executar o Scala constrói com Spark 1.5.2 e Scala 2.11.7
Eu tenho um arquivo de objeto scala simples com o seguinte conteúdo: import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf object X { def main(args: Array[String]) { val params = ...
Como definir "disjunção de tipo" (tipos de união)?
Uma maneira que temfoi sugerido [https://stackoverflow.com/questions/3422336/how-can-i-differentiate-between-def-fooaxs-a-and-def-fooa-bxs-a-b/3424314#3424314] lidar com definições duplas de métodos sobrecarregados é substituir a sobrecarga pela ...
Existe um equivalente ao SuppressWarnings no Scala?
Eu queria saber se Scala tinha um equivalente ao Java@Suprimir avisos [http://download.oracle.com/javase/1.5.0/docs/api/java/lang/SuppressWarnings.html] que pode ser aplicado a uma função ou qualquer outra coisa para ignorar quaisquer avisos de ...
RDD divide e faz agregação em novos RDDs
Eu tenho um RDD de(String,String,Int). Eu quero reduzi-lo com base nas duas primeiras cadeiasE então, com base na primeira String, quero agrupar o (String, Int) e classificá-losApós a classificação, preciso agrupá-los em pequenos grupos, cada um ...
Scala: Por que posso converter Int em Unit?
Recentemente, comecei a jogar com o Scala (2.8) e notei que posso escrever o seguinte código (no Scala Interpreter): scala> var x : Unit = 10 x : Unit = ()Não é óbvio o que está acontecendo lá. Eu realmente não esperava ver nenhuma conversão ...
Transformações Spark + Scala, sobrecarga de imutabilidade e consumo de memória
Passei por alguns vídeos no Youtube sobreFaísca [https://www.youtube.com/watch?v=65aV15uDKgA]arquitetura. Embora a avaliação preguiçosa, a resiliência da criação de dados em caso de falhas, bons conceitos de programação funcional sejam razões ...