Resultados da pesquisa a pedido "scala"
Problemas de confiabilidade com o Checkpointing / WAL no Spark Streaming 1.6.0
DescriçãoTemos um aplicativo Spark Streaming 1.5.2 no Scala que lê eventos JSON de um Kinesis Stream, faz algumas transformações / agregações e grava os resultados em diferentes prefixos S3. O intervalo atual do lote é de 60 segundos. Temos ...
inferência do tipo scala com _ espaço reservado
List("This","is","Scala").foreach(a => print(a+" "))compila bem, mas List("This","is","Scala").foreach(print(_+" "))falha ao reclamar do tipo de parâmetro ausente. Eu não conseguia descobrir por que isso falha. EDIT: Eu quis dizer print not ...
Como usar sincronizado no Scala?
Eu tenho o seguinte código: object Foo { private var ctr = 0L def bar = { ctr = ctr + 1 // do something with ctr } }O requisito é que umctr O valor deve ser usado apenas uma vez. No meu caso, o mesmo valor dectr está sendo reutilizado. Minha ...
Como reverter um teste de integração com o Slick 3 + Specs2?
Desejo escrever alguns testes de integração para um serviço que executa com facilidade e depois limpar um banco de dados postgresql posteriormente revertendo uma transação, mas não vejo uma maneira de fazê-lo. Entendo que posso testar objetos ...
Como acessar o Injector Play Framework 2.4 guice no aplicativo?
Eu quero usar ogetInstance método do GuiceInjector classe no Play Framework 2.4, como posso acessá-lo? Eu usei o GuiceFactoryModuleBuilder por implementar uma fábrica que retorna outra fábrica em tempo de execução! No segundo nível de retorno de ...
Anexar novos dados a arquivos parquet particionados
Estou escrevendo um processo ETL em que precisarei ler arquivos de log por hora, particionar os dados e salvá-los. Estou usando o Spark (no Databricks). Os arquivos de log são CSV, então eu os leio e aplico um esquema, depois realizo minhas ...
Velocidade de compilação Java vs Velocidade de compilação Scala
Estou programando em Scala há um tempo e gosto, mas uma coisa que me incomoda é o tempo que leva para compilar programas. Parece uma coisa pequena, mas com Java eu poderia fazer pequenas alterações no meu programa, clicar no botão executar no ...
Spark: adicione coluna ao dataframe condicionalmente
Estou tentando pegar meus dados de entrada: A B C -------------- 4 blah 2 2 3 56 foo 3E adicione uma coluna ao final com base em se B está vazio ou não: A B C D -------------------- 4 blah 2 1 2 3 0 56 foo 3 1Eu posso fazer isso facilmente ...
Efeitos Scala Cats - IO Async Shift - Como funciona?
Aqui estão alguns códigos de gatos Scala usando oIO Monad [https://github.com/typelevel/cats-effect]: import java.util.concurrent.{ExecutorService, Executors} import cats.effect.IO import scala.concurrent.{ExecutionContext, ...
Scala: preencha as lacunas de uma lista com o último valor não vazio
Eu tenho uma lista como: val arr = Array("a", "", "", "b", "c", "")Estou procurando uma maneira de criar: Array("a", "a", "a", "b", "c", "c")