Resultados da pesquisa a pedido "apache-spark"
O aplicativo Spark lança javax.servlet.FilterRegistration
Estou usando o Scala para criar e executar um aplicativo Spark localmente. Meu build.sbt: name : "SparkDemo" version : "1.0" scalaVersion : "2.10.4" libraryDependencies += "org.apache.spark" %% "spark-core" % "1.2.0" ...
Como posso calcular a mediana exata com o Apache Spark?
estepágina [https://spark.apache.org/docs/0.7.0/api/core/spark/api/java/JavaDoubleRDD.html] contém algumas funções estatísticas (média, stdev, variância etc.), mas não contém a mediana. Como posso calcular a mediana exata? obrigado
Explicar a funcionalidade agregada no Spark
Estou procurando uma explicação melhor da funcionalidade agregada que está disponível via spark em python. O exemplo que eu tenho é o seguinte (usando o pyspark da versão 1.2.0 do Spark) sc.parallelize([1,2,3,4]).aggregate( (0, 0), (lambda acc, ...
Como criar vários SparkContexts em um console
Eu quero criar mais de um SparkContext em um console. De acordo com um post no lista de discussão [http://apache-spark-user-list.1001560.n3.nabble.com/Multiple-SparkContexts-in-same-Driver-JVM-td20037.html#a21454] , Preciso fazer SparkConf.set ...
a compilação do scalac produz "o objeto apache não é membro da organização do pacote"
Meu código é: import org.apache.spark.SparkContextEle pode ser executado no modo interativo, mas quando eu uso o scalac para compilá-lo, recebi a seguinte mensagem de erro: O objeto apache não é membro da organização do pacote Este parece ser ...
Adição de dois RDD [mllib.linalg.Vector]
Eu preciso da adição de duas matrizes que são armazenadas em dois arquivos. O conteúdo delatest1.txt elatest2.txt tem o próximo str: 1 2 3 4 5 6 7 8 9Estou lendo esses arquivos da seguinte maneira: scala> val rows = ...
Como passar o parâmetro -D ou variável de ambiente para o trabalho do Spark?
eu quero mudarConfiguração Typesafe [https://github.com/typesafehub/config]de um trabalho do Spark no ambiente dev / prod. Parece-me que a maneira mais fácil de conseguir isso é passar-Dconfig.resource=ENVNAME para o trabalho. A biblioteca de ...
Como converter Row de um Scala DataFrame em classe de caso com mais eficiência?
Depois de ter entrado no Spark alguma classe Row, Dataframe ou Catalyst, desejo convertê-lo em uma classe case no meu código. Isso pode ser feito combinando someRow match {case Row(a:Long,b:String,c:Double) => myCaseClass(a,b,c)}Mas fica feio ...
Inserindo dados analíticos do Spark no Postgres
Eu tenho o banco de dados Cassandra a partir do qual analisei os dados usando o SparkSQL através do Apache Spark. Agora eu quero inserir os dados analisados no PostgreSQL. Existe alguma maneira de conseguir isso diretamente, além do uso do driver ...
enviar tarefa ao Spark
Eu instalei o spark no ubuntu 14.04 seguindo este tutorial http://blog.prabeeshk.com/blog/2014/10/31/install-apache-spark-on-ubuntu-14-dot-04/ [http://blog.prabeeshk.com/blog/2014/10/31/install-apache-spark-on-ubuntu-14-dot-04/] Eu sou capaz de ...