Resultados da pesquisa a pedido "scala"
Adicionando uma coluna de linhas em uma lista de colunas no Spark Dataframe
Eu tenho um quadro de dados Spark com várias colunas. Quero adicionar uma coluna ao quadro de dados que é uma soma de um determinado número de colunas. Por exemplo, meus dados são assim: ID var1 var2 var3 var4 var5 a 5 7 9 12 13 b 6 4 3 20 17 c ...
Em Scala, é possível escrever um script que se refira a outro script
Atualmente, estou procurando usar scripts Scala para controlar o ciclo de vida de um banco de dados MySQL em vez de usar scripts MS-DOS (eu estou no Windows XP). Desejo ter um script de configuração que contenha apenas informações ...
Usando futuros no Spark
Um trabalho do Spark cria um serviço da Web remoto para cada elemento em um RDD. Uma implementação simples pode ser algo como isto: def webServiceCall(url: String) = scala.io.Source.fromURL(url).mkString rdd2 = rdd1.map(x => ...
Servidor Akka HTTPS (SSL) com ssl-conf
Versão Akka: Akka 2.4.7 [https://github.com/akka/akka/tree/v2.4.7]Recursos do Akka: Suporte ao servidor HTTPS [http://doc.akka.io/docs/akka/2.4.7/scala/http/server-side-https-support.html] Ssl-config do Typesafe ...
Scala "<-" para compreensão
Eu descobri que Scala sempre tem uma "explicação natural" para qualquer coisa. Sempre algo como "ohh, mas isso é apenas uma função que está sendo chamada neste e naquele objeto com este e aquele parâmetro". De certa forma, nada é realmente mágico ...
Objetivo da declaração de "retorno" em Scala?
Existe algum motivo real para fornecer oreturn declaração em Scala? (além de ser mais "compatível com Java")
Como calcular o percentil da coluna em um DataFrame no spark?
Estou tentando calcular o percentil de uma coluna em um DataFrame? Não consigo encontrar nenhuma função percentil_prox nas funções de agregação do Spark. Por ex. no Hive, temos percentil_aprox e podemos usá-lo da seguinte ...
Spark Dataframe groupBy com sequência como argumentos de chaves [duplicado]
Esta pergunta já tem uma resposta aqui: Várias operações agregadas na mesma coluna de um dataframe spark [/questions/34954771/multiple-aggregate-operations-on-the-same-column-of-a-spark-dataframe] 2 respostasEu tenho um spark DataFrame e quero ...
Scala sublinhado explicação
Dê uma olhada nestes trechos de scala: se temos algo parecido com isto: List(List(1, 2), List(3, 4), List(5)) map (x => (x.size))podemos reduzi-lo para: List(List(1, 2), List(3, 4), List(5)) map ((_.size))mas, se tivermos algo ...
Todos os múltiplos quadros de dados
Para um conjunto de quadros de dados val df1 = sc.parallelize(1 to 4).map(i => (i,i*10)).toDF("id","x") val df2 = sc.parallelize(1 to 4).map(i => (i,i*100)).toDF("id","y") val df3 = sc.parallelize(1 to 4).map(i => (i,i*1000)).toDF("id","z")para ...