Resultados da pesquisa a pedido "scala"
Lista de pastas do Spark Scala no diretório
Quero listar todas as pastas em um diretório hdfs usando o Scala / Spark. No Hadoop, posso fazer isso usando o comando:hadoop fs -ls hdfs://sandbox.hortonworks.com/demo/ Eu tentei com: val conf = new Configuration() val fs = ...
Usando diferentes mônadas na compreensão
Mônadas diferentes podem ser usadas para compreensão? Aqui está o código que usamap case class Post(id: Int, text: String) object PostOps { def find(id: Int) : Option[Post] = if (id == 1) Some(Post(1, "text")) else None def permitted(post: Post, ...
Spark 1.5.1, Probabilidade de floresta aleatória MLLib
Estou usando o Spark 1.5.1 com MLLib. Criei um modelo de floresta aleatória usando o MLLib, agora use o modelo para fazer previsões. Eu posso encontrar a categoria de previsão (0,0 ou 1,0) usando a função .predict. No entanto, não consigo ...
Como posso atualizar uma variável de transmissão no spark streaming?
Acredito que tenho um caso de uso relativamente comum para o streaming de faíscas: Eu tenho um fluxo de objetos que gostaria de filtrar com base em alguns dados de referência Inicialmente, pensei que isso seria uma coisa muito simples de ...
Coluna Matriz de Acesso no Spark
Um Spark DataFrame contém uma coluna do tipo Array [Double]. Ele lança uma exceção ClassCastException quando tento recuperá-lo em uma função map (). O código Scala a seguir gera uma exceção. case class Dummy( x:Array[Double] ) val df ...
Como aplicar evoluções manualmente em testes com o Slick and Play! 2.4
Gostaria de executar manualmente meu script de evolução no início de cada arquivo de teste. Estou trabalhando com o Play! 2.4 e Slick 3. De acordo com a documentação, o caminho a seguir parece ser: Evolutions.applyEvolutions(database)mas não ...
Como testar os métodos particulares de um objeto no Scala
Eu tenho um objeto de exemplo: object Foo { private def sayFoo = "Foo!" }E quero testar o método sayFoo privado sem as seguintes soluções alternativas: 1. Sem defini-lo como pacote privado 2. Sem defini-lo como protegido e depois herdá-lo na ...
Substituir valores nulos no Spark DataFrame
Eu vi uma solução aqui, mas quando tentei, não funcionou para mim. Primeiro importo um arquivo cars.csv: val df = sqlContext.read .format("com.databricks.spark.csv") .option("header", "true") .load("/usr/local/spark/cars.csv")Que se parece com ...
Pergunta sobre a variável Scala Mutability
Eu entendi aquilovalA palavra-chave determina que a variável subjacente é do tipo Imutável (não pode ser reatribuída posteriormente). Agora me deparei com um parágrafo em programação no scala (Capítulo 3, Próximos passos no scala - parametrize ...
Como omitir campos de classe de caso em um mapeamento de tabela liso?
Estou aprendendo um pouco de Scala e atualmente estou molhando os pés com o framework slick (3.1) + play, então talvez a resposta seja simples aqui e estou perdendo algo óbvio. Eu tenho o seguinte modelo e tabela case class User(id: Long = -1, ...