Resultados da pesquisa a pedido "scala"
Comparando dois RDDs
Eu tenho dois RDD [Array [String]], vamos chamá-los de rdd1 e rdd2. Eu criaria um novo RDD contendo apenas as entradas do rdd2 que não estão no rdd1 (com base em uma chave). Eu uso o Spark no Scala via Intellij. Agrupei rdd1 e rdd2 por uma chave ...
Por que Scala pode serializar Function, mas não PartialFunction?
Eu tenho 2 funções (1 delas é parcial) definidas da mesma forma em um objeto: val partialFn: scala.PartialFunction[String, Int] = new AbstractPartialFunction[String, Int] { override def isDefinedAt(v: String): Boolean = { counter += 1 if (v == ...
Problemas ao experimentar o exemplo no Spark-shell
Queria experimentar o Spark 2.0, mas quando tentei executar o seguinte código ...
Avaliação dinâmica de código no scala
Qual é a melhor maneira de injetar um trecho de código no scala? algo como eval em javascript e GroovyScriptEngine. Quero manter minhas regras / cálculos / fórmulas fora da classe de processamento de dados real. Eu tenho quase 100 + fórmulas a ...
Agrupando itens da lista comparando-os com seus vizinhos
Qual é a maneira mais elegante de agrupar uma lista de valores em grupos com base nos valores vizinhos? O contexto mais amplo que tenho é ter uma lista de linhas, que precisam ser agrupadas em parágrafos. Quero poder dizer que, se a diferença ...
Comparação em Scala
Qual é a diferença entreval a=new String("Hello") eval a="Hello" Exemplo: val a="Hello" val b="Hello" a eq b res:Boolean=TrueSimilarmente: val a=new String("Hello") val b=new string("Hello") a eq b res:Bolean=False
Scala: Typecast sem parâmetro de tipo explicitamente conhecido
Considere o seguinte exemplo: case class C[T](x:T) { def f(t:T) = println(t) type ValueType = T } val list = List(1 -> C(2), "hello" -> C("goodbye")) for ((a,b) <- list) { b.f(a) }Neste exemplo, eu sei (garantia de tempo de execução) que o tipo ...
Digite Erasure em Scala
Estou um pouco confuso sobre o que está acontecendo aqui: import scala.collection.immutable._ object Main extends App { sealed trait Node sealed trait Group case class Sheet( val splat: String, val charname: String, val children: ListMap[String, ...
Skolemization de expressões de tipo existencial
No Scala, a seguinte expressão gera um erro de tipo: val pair: (A => String, A) forSome { type A } = ( { a: Int => a.toString }, 19 ) pair._1(pair._2)Como mencionado emSI-9899 [https://issues.scala-lang.org/browse/SI-9899]e isto responda ...
OUTER JOIN em 2 DATA FRAMES: Spark Scala SqlContext
Estou recebendo erro ao fazer junções externas em 2 quadros de dados. Estou tentando obter o percentil. val sqlContext = new org.apache.spark.sql.SQLContext(sc) val df = sqlContext.jsonFile("temp.txt") val res = ...