Resultados da pesquisa a pedido "apache-spark"

7 a resposta

O aplicativo Spark lança javax.servlet.FilterRegistration

Estou usando o Scala para criar e executar um aplicativo Spark localmente. Meu build.sbt: name : "SparkDemo" version : "1.0" scalaVersion : "2.10.4" libraryDependencies += "org.apache.spark" %% "spark-core" % "1.2.0" ...

2 a resposta

Como posso calcular a mediana exata com o Apache Spark?

estepágina [https://spark.apache.org/docs/0.7.0/api/core/spark/api/java/JavaDoubleRDD.html] contém algumas funções estatísticas (média, stdev, variância etc.), mas não contém a mediana. Como posso calcular a mediana exata? obrigado

7 a resposta

Explicar a funcionalidade agregada no Spark

Estou procurando uma explicação melhor da funcionalidade agregada que está disponível via spark em python. O exemplo que eu tenho é o seguinte (usando o pyspark da versão 1.2.0 do Spark) sc.parallelize([1,2,3,4]).aggregate( (0, 0), (lambda acc, ...

4 a resposta

Como criar vários SparkContexts em um console

Eu quero criar mais de um SparkContext em um console. De acordo com um post no lista de discussão [http://apache-spark-user-list.1001560.n3.nabble.com/Multiple-SparkContexts-in-same-Driver-JVM-td20037.html#a21454] , Preciso fazer SparkConf.set ...

3 a resposta

a compilação do scalac produz "o objeto apache não é membro da organização do pacote"

Meu código é: import org.apache.spark.SparkContextEle pode ser executado no modo interativo, mas quando eu uso o scalac para compilá-lo, recebi a seguinte mensagem de erro: O objeto apache não é membro da organização do pacote Este parece ser ...

2 a resposta

Adição de dois RDD [mllib.linalg.Vector]

Eu preciso da adição de duas matrizes que são armazenadas em dois arquivos. O conteúdo delatest1.txt elatest2.txt tem o próximo str: 1 2 3 4 5 6 7 8 9Estou lendo esses arquivos da seguinte maneira: scala> val rows = ...

8 a resposta

Como passar o parâmetro -D ou variável de ambiente para o trabalho do Spark?

eu quero mudarConfiguração Typesafe [https://github.com/typesafehub/config]de um trabalho do Spark no ambiente dev / prod. Parece-me que a maneira mais fácil de conseguir isso é passar-Dconfig.resource=ENVNAME para o trabalho. A biblioteca de ...

4 a resposta

Como converter Row de um Scala DataFrame em classe de caso com mais eficiência?

Depois de ter entrado no Spark alguma classe Row, Dataframe ou Catalyst, desejo convertê-lo em uma classe case no meu código. Isso pode ser feito combinando someRow match {case Row(a:Long,b:String,c:Double) => myCaseClass(a,b,c)}Mas fica feio ...

3 a resposta

Inserindo dados analíticos do Spark no Postgres

Eu tenho o banco de dados Cassandra a partir do qual analisei os dados usando o SparkSQL através do Apache Spark. Agora eu quero inserir os dados analisados no PostgreSQL. Existe alguma maneira de conseguir isso diretamente, além do uso do driver ...

1 a resposta

enviar tarefa ao Spark

Eu instalei o spark no ubuntu 14.04 seguindo este tutorial http://blog.prabeeshk.com/blog/2014/10/31/install-apache-spark-on-ubuntu-14-dot-04/ [http://blog.prabeeshk.com/blog/2014/10/31/install-apache-spark-on-ubuntu-14-dot-04/] Eu sou capaz de ...