Resultados da pesquisa a pedido "scala"
Anotando parâmetros do construtor no Scala
Anotar parâmetros do construtor parece não fazer nada quando compilado no bytecode. Também não recebo avisos do compilador. Os seguintes trabalhos.getAnnotations para oname retornos de campojavax.annotation.Nullable. class Person { @Nullable ...
Agregando várias colunas com função personalizada no Spark
Fiquei me perguntando se existe alguma maneira de especificar uma função de agregação personalizada para quadros de dados spark em várias colunas. Eu tenho uma tabela como esta do tipo (nome, item, preço): john | tomato | 1.99 john | carrot | ...
VectorAssembler não oferece suporte à conversão de spark scala do tipo StringType
Eu tenho um quadro de dados que contém colunas de seqüência de caracteres e planejo usá-lo como entrada para k-means usando spark e scala. Estou convertendo minhas colunas digitadas em string do dataframe usando o método abaixo: val toDouble = ...
buscar mais de 20 linhas e exibir o valor total da coluna no shell de faísca
estou usandoCassandraSQLContext do spark-shell para consultar dados do Cassandra. Então, eu quero saber duas coisas: como buscar mais de 20 linhas usandoCassandraSQLContext e segundo, como o ID exibe o valor total da coluna. Como você pode ver ...
Como compilar / avaliar uma expressão Scala em tempo de execução?
Novo no Scala e procurando indicadores para uma solução idiomática, se houver. Eu gostaria de ter funções arbitrárias Scala fornecidas pelo usuário (que podem fazer referência a funções / classes que defini no meu código) aplicadas a alguns ...
Por que não posso flatMap uma lista [opção] usando sublinhado?
Por que eu posso escrever val flat: List[Int] = List(Some(1), Some(2)).flatMap(i => i)Mas não val flat: List[Int] = List(Some(1), Some(2)).flatMap(_)
O Spark SQL falha porque "O pool constante cresceu além do limite da JVM de 0xFFFF"
Estou executando esse código no EMR 4.6.0 + Spark 1.6.1: val sqlContext = SQLContext.getOrCreate(sc) val inputRDD = sqlContext.read.json(input) try { inputRDD.filter("`first_field` is not null OR `second_field` is not ...
Java Spring como um cliente para chamada HTTP REST baseada em Akka
eu tenho que chamar esse serviço REST escrito emscala-akka projeto dejava-spring. meu serviço REST scala é como val route = post { path("notification" / "signUp"){ headerValueByName("App_Key") { app_key => { handleWith { requestParameters: ...
Como iterar scala wrapArray? (Faísca)
Eu executo as seguintes operações: val tempDict = sqlContext.sql("select words.pName_token,collect_set(words.pID) as docids from words group by words.pName_token").toDF() val wordDocs = tempDict.filter(newDict("pName_token")===word) val listDocs ...
Como adiciono a fonte dinamicamente ao gráfico existente?
O que pode ser uma alternativa para alterar dinamicamente o gráfico em execução? Aqui está a minha situação. Eu tenho um gráfico que ingere artigos no DB. Os artigos vêm de 3 plugins em formato diferente. Então eu tenho vários fluxos val ...