Resultados da pesquisa a pedido "scala"
Como encontrar a mediana exata para dados agrupados no Spark
Eu tenho um requisito para calcular a mediana exata no conjunto de dados agrupados do tipo de dados Double no Spark usando Scala. É diferente da consulta semelhante:Encontre mediana no spark SQL para várias colunas de tipos de dados duplos ...
java.lang.NoClassDefFoundError: scala / Product $ class
Eu sou novo no scala e estou testando alguns códigos de amostra para teste. No entanto, estou enfrentando alguns problemas ao executar o código de teste. Quando executo o teste, estou recebendo um erro [trace] Stack trace suppressed: run last ...
No Spark Streaming, existe uma maneira de detectar quando um lote termina?
Eu uso o Spark 1.6.0 com o Cloudera 5.8.3. eu tenho umDStream objeto e muitas transformações definidas em cima dele, val stream = KafkaUtils.createDirectStream[...](...) val mappedStream = stream.transform { ... }.map { ... } ...
scala sbt e proxy corporativo - SunCertPathBuilderException
Quando tento usar o SBT, alguns arquivos não podem ser baixados com o seguinte erro: Erro de acesso ao servidor: sun.security.validator.ValidatorException: falha na criação do caminho ...
reflexão scala
Eu quero criar um hashmap para armazenar nomes de parâmetros e seus valores. Os parâmetros, no entanto, estão com tipos diferentes. Eu poderia usar o HashMap [String, Qualquer], mas não saberia quais são os tipos mais tarde. Existe alguma maneira ...
Compreendendo o curry em Scala
Estou tendo problemas para entender o conceito de curry, ou pelo menos a notação de curry SCALA. wikipedia [https://en.wikipedia.org/wiki/Currying#Mathematical_view]diz que currying é a técnica de traduzir a avaliação de uma função que leva ...
Como criar um projeto SBT com o IntelliJ Idea?
Comecei a desenvolver o Scala / LiftWeb / Sbt e gostaria de importar um projeto de Sbt no IntelliJ Idea. Na verdade, consegui importar meu projeto de duas maneiras diferentes: 1) com Maven. Criei um projeto Maven e, além disso, criei um projeto ...
Lendo o gráfico do arquivo
Procurando executar um exemplo do GraphX na minha máquina Windows usando o Spark-Shell da instalação do Hadoop / Spark no SparklyR. Sou capaz de iniciar o shell a partir do diretório de instalação aqui ...
Instanciando uma Classe de Caso de uma Lista de Parâmetros
Dado: case class Foo(a: Int, b: String, c: Double)Você pode dizer: val params = Foo(1, "bar", 3.14).productIterator.toListe pegue: params: List[Any] = List(1, bar, 3.14)Existe uma maneira de "retroceder" e recriar um objeto Foo diretamente ...
Especificando o nome do arquivo ao salvar um DataFrame como um CSV [duplicado]
Esta pergunta já tem uma resposta aqui: Salvar dataframe do Spark em arquivo único no local hdfs [duplicado] [/questions/40792434/spark-dataframe-save-in-single-file-on-hdfs-location] 1 respostaDigamos que eu tenho um Spark DF que desejo salvar ...