Resultados da pesquisa a pedido "scala"
Scala sublinha a função mínima
Vamos criar um valor para essa pergunta: val a = 1 :: Nilagora, posso demonstrar que as funções anônimas podem ser escritas em forma abreviada como esta: a.map(_*2)é possível escrever uma abreviação desta função ?: a.map((x) => x)minha solução ...
Número padrão de partições do Spark RDD
Versão: Spark 1.6.2, Scala 2.10 Estou executando os comandos abaixospark-shell. Estou tentando ver o número de partições que o Spark está criando por padrão. val rdd1 = sc.parallelize(1 to 10) println(rdd1.getNumPartitions) // ==> Result is 4 ...
dependência não resolvida sbt para spark-cassandra-connector 2.0.2
build.sbt: val sparkVersion = "2.1.1"; libraryDependencies += "org.apache.spark" %% "spark-core" % sparkVersion % "provided"; libraryDependencies += "org.apache.spark" %% "spark-sql" % sparkVersion % "provided"; libraryDependencies += ...
Achatando o JSON na estrutura tabular usando o Spark-Scala RDD only fucntion
Aninhei JSON e gostaria de ter saída na estrutura tabular. Sou capaz de analisar os valores JSON individualmente, mas com alguns problemas na tabulação. Sou capaz de fazê-lo via dataframe facilmente. Mas eu quero fazê-lo usando as funções "RDD ...
Quando o Scala precisa de tipos de parâmetros para funções anônimas e expandidas?
Quando o compilador Scala realmente precisa das informações de tipo dos parâmetros de funções anônimas? Por exemplo, dada esta função: def callOn[T,R](target: T, f: (T => R)) = f(target)então não posso usá-lo assim: callOn(4, _.toString) => ...
Como converter o formato personalizado de data e hora em carimbo de data / hora?
Alguma idéia de por que estou obtendo o resultado abaixo? scala> val b = to_timestamp($"DATETIME", "ddMMMYYYY:HH:mm:ss") b: org.apache.spark.sql.Column = to_timestamp(`DATETIME`, 'ddMMMYYYY:HH:mm:ss') scala> sourceRawData.withColumn("ts", ...
configurar ant para scala
Como instalo o antlib.xml para o scala para que o ant funcione? No momento, encontro o seguinte erro ao executarant em um arquivo build.xml que contém tarefas scala. [taskdef] Could not load definitions from resource ...
Podemos usar várias sessões de sparks para acessar dois servidores Hive diferentes
Eu tenho um cenário para comparar duas tabelas diferentes de origem e destino de dois servidores de seção remota separados, podemos usar doisSparkSessions algo como eu tentei abaixo: - val spark = SparkSession.builder().master("local") ...
Acesso aos elementos WrappedArray
Eu tenho um spark dataframe e aqui está o esquema: |-- eid: long (nullable = true) |-- age: long (nullable = true) |-- sex: long (nullable = true) |-- father: array (nullable = true) | |-- element: array (containsNull = true) | | |-- element: ...
Como renomear o arquivo de saída do quadro de dados spark na AWS no spark SCALA
Estou salvando minha saída do quadro de dados spark como arquivo csv no scala com partições. É assim que eu faço issozepelim. val sqlContext = new org.apache.spark.sql.SQLContext(sc) import sqlContext.implicits._ import org.apache.spark.{ ...