Resultados da pesquisa a pedido "yarn"
Apache Spark: O número de núcleos versus o número de executores
Estou tentando entender a relação do número de núcleos e o número de executores ao executar uma tarefa do Spark no YARN. O ambiente de teste é o seguinte: Número de nós de dados: 3Especificação da máquina do nó de dados:CPU: Core i7-4790 (nº de ...
Aplicativos não mostrados na interface do usuário do fio ao executar o trabalho mapreduce hadoop?
estou usandoHadoop2.2. Vejo que meus trabalhos são concluídos com sucesso. Eu posso navegar no sistema de arquivos para encontrar a saída. No entanto, quando eu navegohttp://NNode:8088/cluster/apps, Não consigo ver os aplicativos que foram ...
spark - problema de espaço na pilha java - ExecutorLostFailure - container encerrado com status 143
Estou lendo a string com mais de 100k bytes e dividindo as colunas com base na largura. Eu tenho quase 16K colunas que eu divido acima da string com base na largura. mas enquanto escrevia em parquet, estou usando o código ...
Faísca no entendimento do conceito de fios
Estou tentando entender como o spark é executado no cluster / cliente YARN. Eu tenho a seguinte pergunta em minha mente. É necessário que o spark esteja instalado em todos os nós no cluster de fios? Eu acho que deveria, porque os nós do ...
Não foi possível iniciar um gerenciador de nós no mestre
Estou configurando um cluster Hadoop YARN e estou usando uma máquina como mestre e escravo. Quando inicio o YARN usando o comando a seguir, ele inicia o gerenciador de nós nos escravos, mas não no nó principal. sbin/yarn-daemons.sh start ...
Como desativar o registro INFO no Spark?
Instalei o Spark usando o guia da AWS EC2 e posso iniciar o programa usando obin/pyspark script para chegar ao prompt do spark e também pode executar o Quick Start com êxito. No entanto, para a minha vida, não consigo descobrir como parar todos ...
Como definir o número máximo preciso de tarefas em execução simultânea por nó no Hadoop 2.4.0 no Elastic MapReduce
De acordo com http://blog.cloudera.com/blog/2014/04/apache-hadoop-yarn-avoiding-6-time-consuming-gotchas/ [http://blog.cloudera.com/blog/2014/04/apache-hadoop-yarn-avoiding-6-time-consuming-gotchas/] , a fórmula para determinar o número de ...
que diferença entre executar uma tarefa de redução de mapa usando o comando hadoop e java
Encontre muitas opções para executar um programa de redução de mapa. Qualquer um pode explicar a diferença entre as teses abaixo dos comandos. E que impacto no trabalho de redução de mapa, se houver. java -jar MyMapReduce.jar [args] hadoop jar ...
Aguarde por tempo indeterminado com "Solicitado para enviar locais de saída do mapa para embaralhar"
Meus trabalhos geralmente ficam com esse tipo de mensagem: 14/09/01 00:32:18 INFO spark.MapOutputTrackerMasterActor: Asked to send map output locations for shuffle 0 to spark@*:37619Seria ótimo se alguém pudesse explicar o que o Spark está ...
Como configurar os VCORES no hadoop mapreduce / yarn?
A seguir, minha configuração: **mapred-site.xml** map-mb : 4096 opts:-Xmx3072m reduce-mb : 8192 opts:-Xmx6144m **yarn-site.xml** resource memory-mb : 40GB min allocation-mb : 1GBos Vcores no cluster hadoop exibiam 8GB, mas eu não sei como o ...