Resultados da pesquisa a pedido "scala"
O mapWithState do Spark Streaming parece reconstruir o estado completo periodicamente
Estou trabalhando em um projeto de streaming Scala (2.11) / Spark (1.6.1) e usandomapWithState() para acompanhar os dados vistos dos lotes anteriores. O estado é distribuído em 20 partições em vários nós, ...
Soma valores de PairRDD
Eu tenho um RDD do tipo: dataset :org.apache.spark.rdd.RDD[(String, Double)] = MapPartitionRDD[26]O que é equivalente a(Pedro, 0.0833), (Hello, 0.001828) ... Eu gostaria de somar tudo, o valor,0.0833+0.001828.. mas não consigo encontrar uma ...
Saindo do Spark-shell do script scala
Estou usando este comando para executar scripts scala. spark-shell -i test.scalaNo final da execução do script, ainda vejo o spark-shell em execução. Eu usei ": q /: quit" no script test.scala para tentar sair, mas não está funcionando.
Exceção do Apache Spark no encadeamento “main” java.lang.NoClassDefFoundError: scala / collection / GenTraversableOnce $ class
Versão Scala: 2.11.7 (foi necessário atualizar o scala verison para permitir que a classe de caso aceite mais de 22 parâmetros.) Versão Spark: 1.6.1 PFB pom.xml Ficando abaixo do erro ao tentar configurar o spark no intellij IDE, 16/03/16 ...
Por que agrupar uma chamada de método genérica com a Option adia o ClassCastException?
Digamos que eu tenho uma matriz como esta *: val foo: Any = 1 : Int Option(foo.asInstanceOf[String])que falha por motivo óbvio: // java.lang.ClassCastException: java.lang.Integer cannot be cast to // java.lang.String // ... 48 elidedA seguir, ...
Linha Spark para JSON
Gostaria de criar um JSON a partir de um dataframe Spark v.1.6 (usando scala). Eu sei que existe a solução simples de fazerdf.toJSON. No entanto, meu problema parece um pouco diferente. Considere, por exemplo, um quadro de dados com as seguintes ...
Incompatibilidade de tipo estranho em Scala
Espero que esta pergunta ainda não tenha sido respondida em outro lugar. Não encontrou uma resposta aqui. No meu sistema de localização, tenho uma classe chamada Idioma class Language(val name:String, dict:HashMap[String, String]) { def ...
A correspondência do Scala RegEx falha, o Java é bem-sucedido
Em um código a seguir, o mesmo padrão corresponde quando a API Java é usada, mas não ao usar a correspondência de padrões Scala. import java.util.regex.Pattern object Main extends App { val text ...
No Scala, como ler um arquivo CSV simples com um cabeçalho na primeira linha?
A tarefa é procurar um valor de campo específico (por seu número em linha) por um valor de campo-chave em um arquivo CSV simples (vírgulas como separadores, sem aspas entre campos, nunca vírgula dentro de um campo), com um cabeçalho na sua ...
Como transpor o quadro de dados no Spark 1.5 (nenhum operador de pivô disponível)?
Eu quero transpor a tabela a seguir usando spark scala sem função Pivot Estou usando o Spark 1.5.1 e a função Pivot não oferece suporte no 1.5.1. Sugira um método adequado para transpor a tabela a seguir: Customer Day Sales 1 Mon 12 1 Tue 10 1 ...