Resultados da pesquisa a pedido "yarn"
Erro de trabalho do Spark: YarnAllocator: Status de saída: -100. Diagnóstico: Contêiner liberado em um nó * perdido *
Estou executando um trabalho no AWS-EMR 4.1, Spark 1.5 com a seguinte conf: spark-submit --deploy-mode cluster --master yarn-cluster --driver-memory 200g --driver-cores 30 --executor-memory 70g --executor-cores 8 --num-executors 90 --conf ...
só pôde ser replicado para 0 nós em vez de minReplication (= 1). Existem 4 tipos de dados em execução e nenhum nó é excluído nesta operação
Não sei como corrigir este erro: Vertex failed, vertexName=initialmap, vertexId=vertex_1449805139484_0001_1_00, diagnostics=[Task failed, taskId=task_1449805139484_0001_1_00_000003, diagnostics=[AttemptID:attempt_1449805139484_0001_1_00_000003_0 ...
FetchFailedException ou MetadataFetchFailedException ao processar o conjunto de big data
Quando executo o código de análise com o conjunto de dados de 1 GB, ele é concluído sem nenhum erro. Mas, quando tento 25 gb de dados por vez, fico abaixo dos erros. Estou tentando entender como evitar falhas abaixo. É um prazer ouvir todas as ...
Enviando o aplicativo spark como um trabalho de fios do Eclipse e do Spark Context
Eu já posso enviarlocal trabalhos de faísca (escritos em Scala) do meu Eclipse IDE. No entanto, gostaria de modificar meu contexto do Spark (dentro do meu aplicativo) para que, quando 'Executar' o aplicativo (dentro do Eclipse), o trabalho seja ...
Spark Streaming: Como posso adicionar mais partições ao meu DStream?
Eu tenho um aplicativo de streaming de centelha que se parece com isso: val message = KafkaUtils.createStream(...).map(_._2) message.foreachRDD( rdd => { if (!rdd.isEmpty){ val kafkaDF = sqlContext.read.json(rdd) kafkaDF.foreachPartition( i =>{ ...
o spark.yarn.driver.memoryOverhead ou spark.yarn.executor.memoryOverhead é usado para armazenar que tipo de dados?
Eu me perguntava que: spark use o spark.yarn.driver.memoryOverhead ou spark.yarn.executor.memoryOverhead para armazenar que tipo de dados?E nesse caso eu deveria aumentar o valor de spark.yarn.driver.memoryOverhead ...
YARN: Qual é a diferença entre número de executores e núcleos de executores no Spark?
Estou aprendendo o Spark no AWS EMR. No processo, estou tentando entender a diferença entre o número de executores (- num-executors) e núcleos de executores (--executor-cores). Alguém pode me dizer aqui? Além disso, quando estou tentando enviar ...
Como executar o 2 EMR Spark Step simultaneamente?
Estou tentando executar duas etapas simultaneamente no EMR. No entanto, sempre recebo o primeiro passo em execução e o segundo pendent parte da minha configuração do Yarn é a seguint { "Classification": "capacity-scheduler", "Properties": ...
Como faço para corrigir “O arquivo só pode ser replicado para 0 nós em vez de minReplication (= 1).”?
Fiz uma pergunta semelhante há um tempo atrás [https://stackoverflow.com/questions/53959342/why-do-i-get-file-could-only-be-replicated-to-0-nodes-when-writing-to-a-partit] e achei que resolvi esse problema, mas acabou que ele desapareceu ...