Resultados da pesquisa a pedido "scala"
Como filtrar um spark dataframe contra outro dataframe
Estou tentando filtrar um dataframe contra outro: scala> val df1 = sc.parallelize((1 to 100).map(a=>(s"user $a", a*0.123, a))).toDF("name", "score", "user_id") scala> val df2 = sc.parallelize(List(2,3,4,5,6)).toDF("valid_id")Agora eu quero ...
O que está acontecendo de errado com o `unionAll` do Spark` DataFrame`?
Usando o Spark 1.5.0 e com o código a seguir, espero que unionAll to unionDataFrames com base no nome da coluna. No código, estou usando algum FunSuite para passar no SparkContextsc: object Entities { case class A (a: Int, b: Int) case class B ...
Por que o shell-spark falha com NullPointerException?
Eu tento executarspark-shell no Windows 10, mas continuo recebendo esse erro toda vez que o executo. Eu usei as versões mais recente e spark-1.5.0-bin-hadoop2.4. 15/09/22 18:46:24 WARN Connection: BoneCP specified but not present in ...
Como crio uma instância de uma característica em um método genérico no scala?
Estou tentando criar uma instância de uma característica usando este método val inst = new Object with MyTraitIsso funciona bem, mas eu gostaria de mover essa criação para uma função geradora, ou seja. object Creator { def create[T] : T = new ...
Como é possível listar todos os arquivos csv em um local HDFS no shell Spark Scala?
O objetivo disso é manipular e salvar uma cópia de cada arquivo de dados em um segundo local no HDFS. Eu vou estar usando RddName.coalesce(1).saveAsTextFile(pathName)para salvar o resultado no HDFS. É por isso que quero fazer cada arquivo ...
Como usar o gerador de código Slick para incluir também visualizações de banco de dados?
Estou tentando gerar o código Scala para as tabelas e visualizações do banco de dados no meu esquema usando o Slick 3.0.3. Levandoeste blog [http://arnaudt.github.io/2015/03/31/slick-codegen.html]como exemplo eu tenho o seguinte arquivobuild.sbt. ...
Shapeless: própria restrição HList usando o Coproduct
(NOTA: Dividir deSem forma: tentando restringir os elementos da HList por seu tipo [https://stackoverflow.com/questions/32778746] ) Pergunta 2 - Restrição própria usando o Coproduct O que eu realmente queria fazer é escrever uma nova restrição ...
Upload de arquivo de teste de unidade em um controlador com Java Play Framework 2.3.x
Depois de trabalhar a maior parte do dia, sinto-me bastante próximo de uma solução sobre como testar um método de controlador que aceita uploads de arquivos do JUnit. Meu código de teste juint é o seguinte: Map<String, String> postData = ...
Comportamento inesperado de StringBuilder no foreach
Ao responderessa questão [https://stackoverflow.com/questions/32800221/apply-and-lambdas-in-scala]Eu me deparei com um comportamento que não conseguia explicar. Vindo de: val builder = new StringBuilder("foo bar baz ") (0 until 4) foreach ...
Acenda vários contextos
Em resumo : Cluster EC2: 1 mestre 3 escravos Versão Spark: 1.3.1 Desejo usar a opçãospark.driver.allowMultipleContexts, um contexto local (somente mestre) e um cluster (mestre e escravos). Eu recebo esse erro de stacktrace (a linha 29 é onde ...