Resultados da pesquisa a pedido "scala"
SPARK: falha: `` união '' esperada, mas `('encontrada
Eu tenho um dataframe chamado df com a coluna employee_id. Estou fazendo: df.registerTempTable("d_f") val query = """SELECT *, ROW_NUMBER() OVER (ORDER BY employee_id) row_number FROM d_f""" val result = Spark.getSqlContext().sql(query)Mas ...
Kafka - Implementação de fila atrasada usando consumidor de alto nível
Deseja implementar um consumidor atrasado usando a API de alto nível do consumidor Ideia principal: produzir mensagens por chave (cada msg contém o carimbo de data / hora da criação), isso garante que cada partição tenha ordenado mensagens por ...
Falha implícita na resolução?
Eu tenho trabalhado em uma implementação de "estilo informe"Sistema denso de números binários de ...
Calcular o desvio padrão de dados agrupados em um Spark DataFrame
Eu tenho logs de usuário que tirei de um csv e converti em um DataFrame para aproveitar os recursos de consulta do SparkSQL. Um único usuário criará inúmeras entradas por hora e eu gostaria de reunir algumas informações estatísticas básicas para ...
Como o número de tarefas e partições é definido ao usar o MemoryStream?
Estou tentando entender um comportamento estranho que observei no meu aplicativo de streaming de estrutura Spark em execução nolocal[*] modo. Eu tenho 8 núcleos em minhas máquinas. Enquanto a maioria dos meus lotes tem 8 partições, de vez em ...
Gerador de números aleatórios funcionais puros - Mônada estadual
O livro 'Programação Funcional em Scala'demonstra um exemplo de gerador de números aleatórios funcionais puros, como abaixo trait RNG { def nextInt: (Int, RNG) } object RNG { def simple(seed: Long): RNG = new RNG { def nextInt = { val seed2 = ...
Entendendo o operador de chamada e contras do método infix (: :) no Scala
Eu sou bastante novo na linguagem de programação Scala e estava tentando algo escondido em minha mente enquanto seguia as notas da aula emaqui [http://horstmann.com/sjsu/cs152/04-closures1.html]. Eu acho que realmente não conseguia entender como ...
DSLs interessantes, implementadas no Scala? [fechadas]
eu tenho vistoBASIC [http://www.scala-lang.org/node/1403]eApache Camel [http://camel.apache.org/scala-dsl.html]DSLs em Scala, e eles são simplesmente fantásticos. Mais alguns exemplos de tais DSLs?
como construir um gráfico a partir de tuplas no graphx e rotular os nós depois?
Algum contexto pode ser encontradoaqui [https://stackoverflow.com/questions/31928133/how-to-create-a-graph-from-arrayany-any-using-graph-fromedgetuples/31929807?noredirect=1#comment51792711_31929807] , a ideia é que eu criei um gráfico a partir ...
O futuro não está completo?
object Executor extends App { implicit val system = ActorSystem() implicit val materializer = ActorMaterializer() implicit val ec = system.dispatcher import akka.stream.io._ val file = new File("res/AdviceAnimals.tsv") ...