Resultados da pesquisa a pedido "scala"
Inserir um novo elemento em uma posição especificada de uma lista
Não há função interna ou método de uma Lista que permita ao usuário adicionar um novo elemento em uma determinada posição de uma Lista. Eu escrevi uma função que faz isso, mas não tenho certeza se é uma boa ideia fazê-lo dessa maneira, mesmo que ...
Como definir o particionamento do DataFrame?
Comecei a usar Spark SQL e DataFrames no Spark 1.4.0. Estou querendo definir um particionador personalizado no DataFrames, no Scala, mas não vendo como fazer isso. Uma das tabelas de dados com as quais estou trabalhando contém uma lista ...
adicionando filtro de idioma ao twitter popularhashtags - scala
Eu sou novo no Spark e Scala. Executei as tags hash populares do trabalho de streaming Spark no Twitter. Adicionei um filtro para algumas palavras e consegui filtrar os tweets: val filter = Array("spark", "Big Data") val stream ...
Como criar uma fonte que possa receber elementos posteriormente por meio de uma chamada de método?
Eu gostaria de criar umSource e depois empurre elementos nele, como em: val src = ... // create the Source here // and then, do something like this pushElement(x1, src) pushElement(x2, src)Qual é a maneira recomendada de fazer isso? Obrigado!
Nenhuma configuração encontrada para a chave 'akka.version'
Estou aprendendo akka-remoting e é assim que meu projeto fica A estrutura do projeto parece project/pom.xml ...
Como usar a fonte JDBC para gravar e ler dados no (Py) Spark?
O objetivo desta pergunta é documentar: etapas necessárias para ler e gravar dados usando conexões JDBC no PySpark possíveis problemas com fontes JDBC e soluções conhecidas Com pequenas alterações, esses métodos devem funcionar com outros ...
Faísca: coalescem muito lentamente até os dados de saída são muito pequenos
Eu tenho o seguinte código no Spark: myData.filter(t => t.getMyEnum() == null) .map(t => t.toString) .saveAsTextFile("myOutput")Existem mais de 2000 arquivos na pasta myOutput, mas apenas alguns t.getMyEnum () == null, portanto, existem apenas ...
AJAX reverso (cometa) e Spring MVC vs. Scala / LIFT?
Existe umdemo da IBM [http://www.ibm.com/developerworks/java/library/j-jettydwr/index.html]isso mostra como o Reverse AJAX pode ser usado com o DWR 2. Por outro lado, o Scala / LIFT vem com o recurso Reverse AJAX embutido. Pergunta: Alguma ...
Leia vários arquivos de um diretório usando o Spark
Estou tentando resolver issoproblema [https://www.kaggle.com/c/axa-driver-telematics-analysis]no kaggle usando spark: a hierarquia de entrada é assim: drivers/{driver_id}/trip#.csv e.g., drivers/1/1.csv drivers/1/2.csv drivers/2/1.csvEu quero ...
Existe uma maneira de reescrever o Spark RDD distinto para usar mapPartitions em vez de distinto?
Eu tenho um RDD muito grande para executar consistentemente uma declaração distinta sem erros espúrios (por exemplo, o estágio SparkException falhou 4 vezes, ExecutorLostFailure, sistema de arquivos HDFS fechado, número máximo de falhas do ...