Resultados da pesquisa a pedido "scala"
Gerador de permutação mais rápido
Eu escrevi um gerador de permutação para listas Scala que gera todas as permutações de uma determinada lista. Até agora, eu tenho o seguinte com base em esta implementação Haskell [http://www.haskell.org/pipermail/haskell/2006-July/018298.html](e ...
Erro de log do Scala, método com.typesafe.scalalogging.LazyLogging. $ Init $ não encontrado
Oi Eu tentei várias combinações de incluir dependências do log scala, no entanto, estou recebendo erro de tempo de execução como o método init não encontrado. Para obter código e erro detalhados que estou recebendo, ...
Executando uma contagem de palavras Spark no IntelliJ
Passei horas analisando vídeos e tutoriais do You Tube tentando entender como executo um programa de contagem de palavras para Spark, no Scala, e transformá-lo em um arquivo jar. Estou ficando totalmente confuso agora. Eu tenho o Hello World em ...
Criando / acessando dataframe dentro da transformação de outro dataframe
Estou atualizando algum código existente para usar o Spark. Eu tenho vários quadros de dados que contêm conjuntos de dados diferentes. Ao transformar meu quadro de dados principal (ou meu conjunto de dados principal), preciso usar dados de outros ...
Problemas ao adicionar uma nova coluna a um quadro de dados - spark / scala
Eu sou novo no spark / scala. Estou tentando ler alguns dados de uma tabela de seção para um dataframe spark e adicionar uma coluna com base em alguma condição. Aqui está o meu código: val DF = hiveContext.sql("select * from (select * from ...
Por que o RDD.foreach falha com "SparkException: este RDD não possui um SparkContext"?
Eu tenho um conjunto de dados (como umRDD) que divido em 4 RDDs usando diferentesfilter operadores. val RSet = datasetRdd. flatMap(x => RSetForAttr(x, alLevel, hieDict)). map(x => (x, 1)). reduceByKey((x, y) => x + y) val Rp:RDD[(String, Int)] = ...
Apache Spark: obtenha o número de registros por partição
Quero verificar como podemos obter informações sobre cada partição, como o total não. de registros em cada partição no lado do driver quando o trabalho do Spark é enviado com o modo de implantação como um cluster de fios para registrar ...
Spark não funciona com pureconfig
Estou tentando usar pureConfig e configFactory para minha configuração de aplicativo spark. aqui está o meu código: import pureconfig.{loadConfigOrThrow} object Source{ def apply(keyName: String, configArguments: Config): Source = { ...
Use um método dentro de uma função UDF Spark Scala
Eu quero usar um método localizado em outra classe dentro de uma função projetada pelo usuário, mas não está funcionando. Eu tenho um método: def traitementDataFrameEleve(sc:SparkSession, dfRedis:DataFrame, domainMail:String, ...
Scala adiciona nova coluna ao dataframe por expressão
Vou adicionar uma nova coluna a um quadro de dados com expressão. por exemplo, eu tenho um dataframe de +-----+----------+----------+-----+ | C1 | C2 | C3 |C4 | +-----+----------+----------+-----+ |steak|1 |1 | 150| |steak|2 |2 | 180| | fish|3 ...