Resultados da pesquisa a pedido "yarn"
Aguarde por tempo indeterminado com "Solicitado para enviar locais de saída do mapa para embaralhar"
Meus trabalhos geralmente ficam com esse tipo de mensagem: 14/09/01 00:32:18 INFO spark.MapOutputTrackerMasterActor: Asked to send map output locations for shuffle 0 to spark@*:37619Seria ótimo se alguém pudesse explicar o que o Spark está ...
Como configurar o Zeppelin para trabalhar com o cluster remoto de fios EMR
Eu tenho o cluster do Amazon EMR Hadoop v2.6 com o Spark 1.4.1, com o gerenciador de recursos Yarn. Desejo implantar o Zeppelin em uma máquina separada para permitir desativar o cluster EMR quando não houver trabalhos em execução. Eu tentei ...
Erro de trabalho do Spark: YarnAllocator: Status de saída: -100. Diagnóstico: Contêiner liberado em um nó * perdido *
Estou executando um trabalho no AWS-EMR 4.1, Spark 1.5 com a seguinte conf: spark-submit --deploy-mode cluster --master yarn-cluster --driver-memory 200g --driver-cores 30 --executor-memory 70g --executor-cores 8 --num-executors 90 --conf ...
spark - problema de espaço na pilha java - ExecutorLostFailure - container encerrado com status 143
Estou lendo a string com mais de 100k bytes e dividindo as colunas com base na largura. Eu tenho quase 16K colunas que eu divido acima da string com base na largura. mas enquanto escrevia em parquet, estou usando o código ...
O gerenciador de tarefas do Hadoop 2.2.0 não está iniciando
Parece que não tenhojobtracker com o Hadoop 2.2.0. O JPS não mostra, não há ninguém escutando na porta 50030 e não há logs sobre ojobtracker dentro delogs pasta. É por causa do fio? Como posso configurar e iniciar o rastreador de tarefas?
Erro ao executar o Mapreduce (fios) no eclipse do windows
Estou executando um programa WordCount no meu eclipse. Eu tentei com o Hadoop1.x ele está funcionando bem. Problema enfrentado durante a execução no hadoop2.x Eu tentei 1) adicionou todos os xml no meu caminho de classe. 2) também ...
Como definir o número máximo preciso de tarefas em execução simultânea por nó no Hadoop 2.4.0 no Elastic MapReduce
De acordo com http://blog.cloudera.com/blog/2014/04/apache-hadoop-yarn-avoiding-6-time-consuming-gotchas/ [http://blog.cloudera.com/blog/2014/04/apache-hadoop-yarn-avoiding-6-time-consuming-gotchas/] , a fórmula para determinar o número de ...
Executando o Spark no YARN no modo de cluster de fios: Para onde vai a saída do console?
Segui esta página e executei o aplicativo de exemplo SparkPi no YARN no modo de cluster de fios. http://spark.apache.org/docs/latest/running-on-yarn.html [http://spark.apache.org/docs/latest/running-on-yarn.html] Não vejo a saída do programa no ...
Hadoop 2.6.0: Erro básico ao iniciar o MRAppMaster após a instalação
Comecei a trabalhar com o Hadoop 2. Depois de instalar com configurações básicas, sempre falhava ao executar quaisquer exemplos. Alguém viu esse problema e por favor me ajude? E o erro é algo como Error starting MRAppMaster ...
Recursos / Documentação sobre como o processo de failover funciona para o Spark Driver (e seu YARN Container) no modo de cluster de fios
Estou tentando entender se o Spark Driver é um ponto único de falha ao implantar no modo de cluster para o Yarn. Então, eu gostaria de ter uma melhor compreensão das entranhas do processo de failover em relação ao contêiner YARN do driver Spark ...