Resultados da pesquisa a pedido "yarn"
Executando o zeppelin no modo de cluster spark
Estou usando este tutorialconjunto de faíscas no modo de fios no contêiner de estivador [https://zeppelin.apache.org/docs/0.7.0/install/spark_cluster_mode.html#spark-on-yarn-mode] para iniciar o zeppelin no cluster de faíscas no modo de fios. No ...
GCP Dataproc - configure o planejador justo do YARN
Eu estava tentando configurar um cluster de dataproc que computasse apenas um trabalho (ou no máximo trabalhos especificados) por vez e o restante estaria na fila. Eu encontrei esta solução,Como configurar a fila de aplicativos FIFO ...
hadoop - Conexão recusada no namenode
Pesquisei web e stackoverflow por um longo tempo, mas não foi útil. Eu instalei o hadoop yarn 2.2.0 na configuração de cluster de 2 nós. mas algo dá errado. quando inicio os daemons do hadoop usando start-dfs.sh e start-yarn.sh no nó mestre, ...
O contêiner está executando além dos limites de memória
No Hadoop v1, atribuí cada slot de 7 mapeadores e redutores com tamanho de 1 GB, meus mapeadores e redutores funcionam bem. Minha máquina possui memória 8G, processador 8. Agora, com o YARN, ao executar o mesmo aplicativo na mesma máquina, recebi ...
Onde o Hadoop armazena os logs dos aplicativos YARN?
Eu executo o exemplo básico de Hortonworks 'exemplo de aplicação de fios [https://github.com/hortonworks/simple-yarn-app]. O aplicativo falha e eu quero ler os logs para descobrir o porquê. Mas não consigo encontrar nenhum arquivo no local ...
Como o YARN conhece a localidade dos dados no Apache spark no modo de cluster
Suponha que exista um trabalho do Spark que leia um arquivo chamado records.txt do HDFS e faça algumas transformações e uma ação (grave a saída processada no HDFS). O trabalho será enviado ao modo de cluster YARN Suponha também que records.txt ...
O gerenciador de tarefas do Hadoop 2.2.0 não está iniciando
Parece que não tenhojobtracker com o Hadoop 2.2.0. O JPS não mostra, não há ninguém escutando na porta 50030 e não há logs sobre ojobtracker dentro delogs pasta. É por causa do fio? Como posso configurar e iniciar o rastreador de tarefas?
Erro ao executar o Mapreduce (fios) no eclipse do windows
Estou executando um programa WordCount no meu eclipse. Eu tentei com o Hadoop1.x ele está funcionando bem. Problema enfrentado durante a execução no hadoop2.x Eu tentei 1) adicionou todos os xml no meu caminho de classe. 2) também ...
Qual é a relação entre 'mapreduce.map.memory.mb' e 'mapred.map.child.java.opts' no Apache Hadoop YARN?
Eu gostaria de saber a relação entre omapreduce.map.memory.mb emapred.map.child.java.opts parâmetros. Émapreduce.map.memory.mb > mapred.map.child.java.opts? Obrigado, Kewal.
Limite de memória de ação do shell Oozie
Temos um fluxo de trabalho oozie com uma ação de shell que precisa de mais memória do que uma tarefa de mapa fornecida pelo Yarn por padrão. Como podemos lhe dar mais memória? Tentamos adicionar a seguinte configuração à ação: <configuration> ...