Resultados da pesquisa a pedido "scala"
Json4s ignorando nenhum campo durante a serialização (em vez de usar 'null')
Estou tendo um método genérico de serialização json que usajson4s. Infelizmente, ele está ignorando os campos se o valor forNone. Meu objetivo é terNone campos sejam representados com umnull valor. Tentei adicionando o serializador personalizado ...
Spray.io: Não é possível compilar as especificações de teste
Eu tenho o seguinte serviço: trait PingService extends MyHttpService { val pingRoutes = path("ping") { get { complete("message" -> "pong") } } }MyHttpServiceé uma classe personalizada que se estendeHttpServicee contém apenas métodos ...
Spark streaming StreamingContext.start () - Erro ao iniciar o receptor 0
Eu tenho um projeto que está usando o spark streaming e estou executando-o com 'spark-submit', mas estou atingindo este erro: 15/01/14 10:34:18 ERROR ReceiverTracker: Deregistered receiver for stream 0: Error starting receiver 0 - ...
ler arquivos recursivamente de subdiretórios com spark do s3 ou sistema de arquivos local
Estou tentando ler arquivos de um diretório que contém muitos subdiretórios. Os dados estão no S3 e estou tentando fazer isso: val rdd ...
Por que o Scala 2.11 e o Spark com vieira levam a "java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror"?
Estou usando o Scala 2.11, Spark e Scallop (https://github.com/scallop/scallop [https://github.com/scallop/scallop]) Eu usei o sbt para criar um jar de gordura de aplicativo sem dependências fornecidas pelo Spark (isso ...
Como pulo um cabeçalho dos arquivos CSV no Spark?
Suponha que eu forneça três caminhos de arquivos para um contexto do Spark para ler e cada arquivo tenha um esquema na primeira linha. Como podemos pular linhas de esquema dos cabeçalhos? val rdd=sc.textFile("file1,file2,file3")Agora, como ...
Obter um TypeTag de um Type?
Eu consigo umType a partir de umTypeTag[A] usando otpe método. Mas também posso recuperar a marca de um tipo? import scala.reflect.runtime.{universe => ru} import ru.{Type, TypeTag} def forward[A](implicit tt: TypeTag[A]): Type = tt.tpe def ...
falha no futuro da Scala para compreensão
Eu tenho três futuros sequenciais e uso no para compreensão como esta val comF = for { f1 <- future1 f2 <- future2 f3 <- future3 } yield { // something } comF onSuccess { } comF onFailure { // ---------------- Here is the problem ...
Spark Streaming: StreamingContext não lê arquivos de dados
Sou novo no Spark Streaming e estou tentando começar usando o Spark-shell. Supondo que eu tenha um diretório chamado "dataTest" colocado no diretório raiz do spark-1.2.0-bin-hadoop2.4. O código simples que eu quero testar no shell é (depois de ...
Iteradores para coleções mutáveis no Scala?
I somente [https://stackoverflow.com/questions/2802571/is-there-a-writable-iterator-in-java] descobriu que existem iteradores em Java. O Scala possui iteradores com os métodos 'set' e 'remove' para iterar (e modificar) coleções mutáveis como ...