Resultados da pesquisa a pedido "yarn"
Como lidar com tarefas que executam muito tempo (comparando com outras pessoas no trabalho) no yarn-client?
Usamos um cluster Spark comoyarn-client para calcular vários negócios, mas às vezes temos uma tarefa executada por muito tempo: [/imgs/IWSbQ.png] Não definimos o tempo limite, mas acho que o tempo limite padrão de uma tarefa de faísca não é ...
“Substituição incorreta” ao enviar uma tarefa de faísca ao cluster de fios
Estou fazendo um teste de fumaça contra um cluster de fios usandoyarn-cluster como o mestre com oSparkPi programa de exemplo. Aqui está a linha de comando: $SPARK_HOME/bin/spark-submit --master yarn-cluster --executor-memory 8G --executor-cores ...
Como configurar o Zeppelin para trabalhar com o cluster remoto de fios EMR
Eu tenho o cluster do Amazon EMR Hadoop v2.6 com o Spark 1.4.1, com o gerenciador de recursos Yarn. Desejo implantar o Zeppelin em uma máquina separada para permitir desativar o cluster EMR quando não houver trabalhos em execução. Eu tentei ...
Como manter os arquivos de log do YARN?
De repente, meu cluster YARN parou de funcionar, tudo o que envio falhou com "Código de saída 1". Desejo rastrear esse problema, mas assim que um aplicativo falhou, o YARN exclui os arquivos de log. Qual é a configuração que preciso ajustar para ...
Como os contêineres são criados com base em vcores e memória no MapReduce2?
Eu tenho um pequeno cluster composto de 1 mestre (namenode, secundárionamenode, resourcemanager) e 2 escravos (datanode, nodemanager). Eu configurei no yarn-site.xml do master: yarn.scheduler.minimum-allocation-mb : ...
Comando shell YARN para obter o número de contêineres e vcores usados pela execução de aplicativos
hadoop job -list parece apenas mostrar trabalhos de redução, mas minha interface do usuário do gerenciador de recursos mostra coisas como "Alocados CPUores" e "Alocados na memória MB" para todos os trabalhos em execução no YARN (incluindo itens ...
O executor Spark no yarn-client não aceita a configuração de contagem de núcleos do executor.
Independentemente da contagem de núcleos do executor spark, o contêiner de fios para o executor não usa mais de 1 núcleo.
Por que o Yarn on EMR não aloca todos os nós para executar tarefas do Spark?
Estou executando um trabalho no Apache Spark no Amazon Elastic Map Reduce (EMR). Atualmente, estou executando o emr-4.1.0, que inclui o Amazon Hadoop 2.6.0 e o Spark 1.5.0. Quando inicio o trabalho, o YARN alocou corretamente todos os nós de ...
/ bin / bash: / bin / java: Esse arquivo ou diretório não existe
Eu estava tentando executar um programa MapReduce simples de contagem de palavras usando o Java 1.7 SDK e o Hadoop2.7.1 no Capitão Mac OS X EL 10.11 e estou recebendo a seguinte mensagem de erro no meu log de contêiner "stderr" / bin / bash: / ...
Tabelas de seção não encontradas ao executar no modo YARN-Cluster
Eu tenho um aplicativo Spark (versão 1.4.1) no HDP 2.3. Funciona bem ao executá-lo no modo YARN-Client. No entanto, ao executá-lo no modo YARN-Cluster, nenhuma das minhas tabelas do Hive pode ser encontrada pelo aplicativo. Eu envio a inscrição ...