Resultados da pesquisa a pedido "scala"
Como resumir todas as colunas de uma matriz Scala?
Se eu tenho uma matriz de matriz (semelhante a uma matriz) no Scala, qual é a maneira eficiente de resumir cada coluna da matriz? Por exemplo, se minha matriz é como abaixo: val arr = Array(Array(1, 100, ...), Array(2, 200, ...), Array(3, 300, ...
Podemos ter uma matriz de funções de parâmetro por nome?
Em Scala, temos parâmetros por nome, onde podemos escrever def foo[T](f: => T):T = { f // invokes f } // use as: foo(println("hello"))Agora eu quero fazer o mesmo com uma matriz de métodos, ou seja, eu quero usá-los como: def foo[T](f:Array[ => ...
Spark NullPointerException com saveAsTextFile
Estou recebendo um NPE ao tentar unir e salvar um RDD. O código funciona localmente,e funciona no cluster no shell scala, mas gera o erro ao enviá-lo como um trabalho para o cluster. Eu tentei imprimir usando um take () para ver se o rdd contém ...
Posso gravar um arquivo HDFS (ou local) de texto sem formatação de um programa Spark, não de um RDD?
Eu tenho um programa Spark (em Scala) e umSparkContext. Estou escrevendo alguns arquivos comRDDésaveAsTextFile. Na minha máquina local, posso usar um caminho de arquivo local e ele funciona com o sistema de arquivos local. No meu cluster, ele ...
Como usar o Scala e o Python em um mesmo projeto Spark?
É possível canalizarSpark RDDpara Python? Porque eu preciso de uma biblioteca python para fazer algum cálculo nos meus dados, mas meu principal projeto Spark é baseado no Scala. Existe uma maneira de misturar os dois ou permitir que o python ...
No Scala, como posso subclassificar uma classe Java com vários construtores?
Suponha que eu tenha uma classe Java com vários construtores: class Base { Base(int arg1) {...}; Base(String arg2) {...}; Base(double arg3) {...}; }Como posso estendê-lo no Scala e ainda fornecer acesso aos três construtores da Base? Em Scala, ...
Spark Streaming no EC2: exceção no segmento "main" java.lang.ExceptionInInitializerError
Estou tentando executar o envio de spark em um arquivo jar que eu criei. Quando o executo localmente na minha máquina, ele funciona corretamente, mas quando implantado no Amazon EC2, ele retorna o seguinte erro. root@ip-172-31-47-217 bin]$ ...
Convertendo RDD [org.apache.spark.sql.Row] para RDD [org.apache.spark.mllib.linalg.Vector]
Eu sou relativamente novo no Spark e Scala. Estou começando com o seguinte quadro de dados (coluna única composta por um denso vetor de duplas): scala> val scaledDataOnly_pruned = scaledDataOnly.select("features") scaledDataOnly_pruned: ...
Spark extraindo valores de uma linha
Eu tenho o seguinte quadro de dados val transactions_with_counts = sqlContext.sql( """SELECT user_id AS user_id, category_id AS category_id, COUNT(category_id) FROM transactions GROUP BY user_id, category_id""")Estou tentando converter as linhas ...
Como as coleções Scala são capazes de retornar o tipo de coleção correto de uma operação de mapa?
Nota: Esta é uma FAQ, solicitada especificamente para que eu possa respondê-la, pois esse problema parece surgir com bastante frequência e quero colocá-lo em um local onde possa (espero) ser facilmente encontrado através de uma pesquisa Conforme ...