Resultados da pesquisa a pedido "apache-spark"
Como dividir o arquivo de entrada no Apache Spark
Suponha que eu tenha um arquivo de entrada de tamanho 100 MB. Ele contém um grande número de pontos (par de latão longo) no formato CSV. O que devo fazer para dividir o arquivo de entrada em 10 arquivos de 10 MB no Apache Spark ou como ...
Por que o envio e o shell-spark falham com “Falha ao localizar o JAR do conjunto Spark. Você precisa criar o Spark antes de executar este programa. ”?
Eu estava tentando executar o envio de spark e recebo "Falha ao localizar o JAR do assembly Spark. Você precisa compilar o Spark antes de executar este programa". Quando tento executar o spark-shell, recebo o mesmo erro. O que tenho que fazer ...
Classe KafkaUtils não encontrada no Spark streaming
Comecei com o Spark Streaming e estou tentando criar um aplicativo de exemplo que conte palavras de um fluxo Kafka. Embora compile comsbt package, quando eu corro, eu receboNoClassDefFoundError. ...
código scala lança exceção no spark
Eu sou novo em Scala e Spark. Hoje tentei escrever um código e deixá-lo funcionar, mas recebi uma exceção. este código funciona em scala local import org.apache.commons.lang.time.StopWatch import org.apache.spark.{SparkConf, SparkContext} ...
Como converter org.apache.spark.rdd.RDD [Array [Double]] para Array [Double], exigido pelo Spark MLlib
Estou tentando implementarKMeans using Apache Spark. val data = sc.textFile(irisDatasetString) val parsedData = data.map(_.split(',').map(_.toDouble)).cache() val clusters = KMeans.train(parsedData,3,numIterations = 20)no qual eu recebo o ...
Spark: como executar o arquivo spark a partir do shell shell
Estou usando o CDH 5.2. Eu posso usarfaíscapara executar os comandos. Como posso executar o arquivo (file.spark) que contém comandos spark.Existe alguma maneira de executar / compilar os programas scala no CDH 5.2 sem sbt? desde já, obrigado
Como parar as mensagens INFO exibidas no console do spark?
Gostaria de interromper várias mensagens que estão chegando no shell de faísca. Eu tentei editar olog4j.properties para parar essas mensagens. Aqui estão os conteúdos delog4j.properties # Define the root logger with appender file ...
“Nenhum sistema de arquivos para o esquema: gs” ao executar o trabalho spark localmente
Estou executando um trabalho do Spark (versão 1.2.0) e a entrada é uma pasta dentro de um bucket do Google Clous Storage (ou seja, gs: // mybucket / folder) Ao executar o trabalho localmente na minha máquina Mac, estou recebendo o seguinte ...
SparkSQL MissingRequirementError ao registrar a tabela
Sou novato no Scala e Apache Spark e estou tentando usar o Spark SQL. Após a clonagem dorepo [https://github.com/apache/spark]Comecei o spark shell digitandobin/spark-shell e execute o seguinte: val sqlContext = new ...
Spark streaming StreamingContext.start () - Erro ao iniciar o receptor 0
Eu tenho um projeto que está usando o spark streaming e estou executando-o com 'spark-submit', mas estou atingindo este erro: 15/01/14 10:34:18 ERROR ReceiverTracker: Deregistered receiver for stream 0: Error starting receiver 0 - ...