Resultados da pesquisa a pedido "apache-spark"

2 a resposta

Como dividir o arquivo de entrada no Apache Spark

Suponha que eu tenha um arquivo de entrada de tamanho 100 MB. Ele contém um grande número de pontos (par de latão longo) no formato CSV. O que devo fazer para dividir o arquivo de entrada em 10 arquivos de 10 MB no Apache Spark ou como ...

7 a resposta

Por que o envio e o shell-spark falham com “Falha ao localizar o JAR do conjunto Spark. Você precisa criar o Spark antes de executar este programa. ”?

Eu estava tentando executar o envio de spark e recebo "Falha ao localizar o JAR do assembly Spark. Você precisa compilar o Spark antes de executar este programa". Quando tento executar o spark-shell, recebo o mesmo erro. O que tenho que fazer ...

8 a resposta

Classe KafkaUtils não encontrada no Spark streaming

Comecei com o Spark Streaming e estou tentando criar um aplicativo de exemplo que conte palavras de um fluxo Kafka. Embora compile comsbt package, quando eu corro, eu receboNoClassDefFoundError. ...

1 a resposta

código scala lança exceção no spark

Eu sou novo em Scala e Spark. Hoje tentei escrever um código e deixá-lo funcionar, mas recebi uma exceção. este código funciona em scala local import org.apache.commons.lang.time.StopWatch import org.apache.spark.{SparkConf, SparkContext} ...

1 a resposta

Como converter org.apache.spark.rdd.RDD [Array [Double]] para Array [Double], exigido pelo Spark MLlib

Estou tentando implementarKMeans using Apache Spark. val data = sc.textFile(irisDatasetString) val parsedData = data.map(_.split(',').map(_.toDouble)).cache() val clusters = KMeans.train(parsedData,3,numIterations = 20)no qual eu recebo o ...

4 a resposta

Spark: como executar o arquivo spark a partir do shell shell

Estou usando o CDH 5.2. Eu posso usarfaíscapara executar os comandos. Como posso executar o arquivo (file.spark) que contém comandos spark.Existe alguma maneira de executar / compilar os programas scala no CDH 5.2 sem sbt? desde já, obrigado

16 a resposta

Como parar as mensagens INFO exibidas no console do spark?

Gostaria de interromper várias mensagens que estão chegando no shell de faísca. Eu tentei editar olog4j.properties para parar essas mensagens. Aqui estão os conteúdos delog4j.properties # Define the root logger with appender file ...

3 a resposta

“Nenhum sistema de arquivos para o esquema: gs” ao executar o trabalho spark localmente

Estou executando um trabalho do Spark (versão 1.2.0) e a entrada é uma pasta dentro de um bucket do Google Clous Storage (ou seja, gs: // mybucket / folder) Ao executar o trabalho localmente na minha máquina Mac, estou recebendo o seguinte ...

2 a resposta

SparkSQL MissingRequirementError ao registrar a tabela

Sou novato no Scala e Apache Spark e estou tentando usar o Spark SQL. Após a clonagem dorepo [https://github.com/apache/spark]Comecei o spark shell digitandobin/spark-shell e execute o seguinte: val sqlContext = new ...

1 a resposta

Spark streaming StreamingContext.start () - Erro ao iniciar o receptor 0

Eu tenho um projeto que está usando o spark streaming e estou executando-o com 'spark-submit', mas estou atingindo este erro: 15/01/14 10:34:18 ERROR ReceiverTracker: Deregistered receiver for stream 0: Error starting receiver 0 - ...