Resultados da pesquisa a pedido "scala"

1 a resposta

Como filtrar um spark dataframe contra outro dataframe

Estou tentando filtrar um dataframe contra outro: scala> val df1 = sc.parallelize((1 to 100).map(a=>(s"user $a", a*0.123, a))).toDF("name", "score", "user_id") scala> val df2 = sc.parallelize(List(2,3,4,5,6)).toDF("valid_id")Agora eu quero ...

4 a resposta

O que está acontecendo de errado com o `unionAll` do Spark` DataFrame`?

Usando o Spark 1.5.0 e com o código a seguir, espero que unionAll to unionDataFrames com base no nome da coluna. No código, estou usando algum FunSuite para passar no SparkContextsc: object Entities { case class A (a: Int, b: Int) case class B ...

10 a resposta

Por que o shell-spark falha com NullPointerException?

Eu tento executarspark-shell no Windows 10, mas continuo recebendo esse erro toda vez que o executo. Eu usei as versões mais recente e spark-1.5.0-bin-hadoop2.4. 15/09/22 18:46:24 WARN Connection: BoneCP specified but not present in ...

2 a resposta

Como crio uma instância de uma característica em um método genérico no scala?

Estou tentando criar uma instância de uma característica usando este método val inst = new Object with MyTraitIsso funciona bem, mas eu gostaria de mover essa criação para uma função geradora, ou seja. object Creator { def create[T] : T = new ...

3 a resposta

Como é possível listar todos os arquivos csv em um local HDFS no shell Spark Scala?

O objetivo disso é manipular e salvar uma cópia de cada arquivo de dados em um segundo local no HDFS. Eu vou estar usando RddName.coalesce(1).saveAsTextFile(pathName)para salvar o resultado no HDFS. É por isso que quero fazer cada arquivo ...

1 a resposta

Como usar o gerador de código Slick para incluir também visualizações de banco de dados?

Estou tentando gerar o código Scala para as tabelas e visualizações do banco de dados no meu esquema usando o Slick 3.0.3. Levandoeste blog [http://arnaudt.github.io/2015/03/31/slick-codegen.html]como exemplo eu tenho o seguinte arquivobuild.sbt. ...

2 a resposta

Shapeless: própria restrição HList usando o Coproduct

(NOTA: Dividir deSem forma: tentando restringir os elementos da HList por seu tipo [https://stackoverflow.com/questions/32778746] ) Pergunta 2 - Restrição própria usando o Coproduct O que eu realmente queria fazer é escrever uma nova restrição ...

1 a resposta

Upload de arquivo de teste de unidade em um controlador com Java Play Framework 2.3.x

Depois de trabalhar a maior parte do dia, sinto-me bastante próximo de uma solução sobre como testar um método de controlador que aceita uploads de arquivos do JUnit. Meu código de teste juint é o seguinte: Map<String, String> postData = ...

2 a resposta

Comportamento inesperado de StringBuilder no foreach

Ao responderessa questão [https://stackoverflow.com/questions/32800221/apply-and-lambdas-in-scala]Eu me deparei com um comportamento que não conseguia explicar. Vindo de: val builder = new StringBuilder("foo bar baz ") (0 until 4) foreach ...

4 a resposta

Acenda vários contextos

Em resumo : Cluster EC2: 1 mestre 3 escravos Versão Spark: 1.3.1 Desejo usar a opçãospark.driver.allowMultipleContexts, um contexto local (somente mestre) e um cluster (mestre e escravos). Eu recebo esse erro de stacktrace (a linha 29 é onde ...