Resultados da pesquisa a pedido "scala"
Como ler e escrever várias tabelas em paralelo no Spark?
No meu aplicativo Spark, estou tentando ler várias tabelas do RDBMS, fazendo algum processamento de dados e depois gravando várias tabelas em outro RDBMS da seguinte maneira (no Scala): val reading1 = sqlContext.load("jdbc", Map("url" -> myurl1, ...
IntelliJ Idea 14: não é possível resolver a faísca do símbolo
Fiz uma dependência do Spark que funcionou no meu primeiro projeto. Mas quando tento criar um novo projeto com o Spark, meu SBT não importa os frascos externos do org.apache.spark. Portanto, o IntelliJ Idea dá o erro de que "não pode resolver o ...
Como combinar filtro e mapa em scala?
eu tenhoList[Int] noScala. A lista éList(1,2,3,4,5,6,7,8,9,10). eu querofilter a lista para que ele tenha apenas números pares. E eu quero multiplicar os números com 2. É possível? Espero ter explicado a questão claramente. Se você tiver alguma ...
Amostragem estratificada no Spark
Eu tenho um conjunto de dados que contém dados de usuário e compra. Aqui está um exemplo, onde o primeiro elemento é userId, o segundo é productId e o terceiro indica booleano. (2147481832,23355149,1) (2147481832,973010692,1) ...
Qual é a diferença entre Task e IO no Scalaz?
Esses dois tipos de Scalaz scalaz.concurrent.Task[+A] [http://docs.typelevel.org/api/scalaz/nightly/#scalaz.concurrent.Task] scalaz.effect.IO[A] [http://docs.typelevel.org/api/scalaz/nightly/#scalaz.effect.IO]parecem muito conceitualmente ...
Qual é a diferença entre uma lente e uma lente parcial?
Uma "lente" e uma "lente parcial" parecem bastante semelhantes em nome e conceito. Como eles diferem? Em que circunstâncias eu preciso usar um ou outro? Marcando Scala e Haskell, mas gostaria de receber explicações relacionadas a qualquer ...
Como salvar modelos do ML Pipeline para S3 ou HDFS?
Estou tentando salvar milhares de modelos produzidos pelo ML Pipeline. Conforme indicado na respostaaqui [https://stackoverflow.com/questions/32121046/run-3000-random-forest-models-by-group-using-spark-mllib-scala-api] , os modelos podem ser ...
Quando usar a fábrica de objetos complementares versus a nova palavra-chave
Muitas classes na biblioteca padrão Scala usamapply() do objeto complementar como fábrica. Isso geralmente é conveniente ao encadear chamadas comoList(List(1)). Por outro lado, ainda é possível criar objetos diretamente comnew (new HashMap[Int, ...
O Custom Supervision.Decider não captura a exceção produzida pelo ActorPublisher
Estou construindo uma biblioteca que será usada por terceiros. Em um dos meus métodos eu retornoStream[Item] que é gerado de forma assíncrona a partir do resultado da chamada da API REST paginada. Estou usando minha modificação ...
Erro ao executar o trabalho no Spark 1.4.0 com módulo Jackson com ScalaObjectMapper
Estou executando um trabalho spark escrito no Scala 2.10.4 e executando no cluster Spark 1.4.0 (baseado no HDFS e gerenciado com YARN) e usando os módulos Jackson versão 2.6.1 no repositório Maven Ao executar o código localmente no meu IDE ...