Resultados da pesquisa a pedido "yarn"
Como o Spark em execução no YARN explica o uso de memória do Python?
Após ler a documentação, não entendo como o Spark em execução no YARN explica o consumo de memória do Python. Isso conta paraspark.executor.memory, spark.executor.memoryOverhead ou onde? Em particular, eu tenho um aplicativo PySpark ...
Apache Spark: O número de núcleos versus o número de executores
Estou tentando entender a relação do número de núcleos e o número de executores ao executar uma tarefa do Spark no YARN. O ambiente de teste é o seguinte: Número de nós de dados: 3Especificação da máquina do nó de dados:CPU: Core i7-4790 (nº de ...
Onde o Hadoop armazena os logs dos aplicativos YARN?
Eu executo o exemplo básico de Hortonworks 'exemplo de aplicação de fios [https://github.com/hortonworks/simple-yarn-app]. O aplicativo falha e eu quero ler os logs para descobrir o porquê. Mas não consigo encontrar nenhum arquivo no local ...
Comando shell YARN para obter o número de contêineres e vcores usados pela execução de aplicativos
hadoop job -list parece apenas mostrar trabalhos de redução, mas minha interface do usuário do gerenciador de recursos mostra coisas como "Alocados CPUores" e "Alocados na memória MB" para todos os trabalhos em execução no YARN (incluindo itens ...
YARN: Qual é a diferença entre número de executores e núcleos de executores no Spark?
Estou aprendendo o Spark no AWS EMR. No processo, estou tentando entender a diferença entre o número de executores (- num-executors) e núcleos de executores (--executor-cores). Alguém pode me dizer aqui? Além disso, quando estou tentando enviar ...
Como limitar a alocação dinâmica de recursos no cluster do Hadoop no Yarn?
Em nosso cluster Hadoop que é executado no Yarn, estamos com um problema de que algumas pessoas "mais inteligentes" consomem quantidades significativamente maiores de recursos configurando tarefas Spark nos blocos de anotações pySpark Jupyter, ...
Tabelas de seção não encontradas ao executar no modo YARN-Cluster
Eu tenho um aplicativo Spark (versão 1.4.1) no HDP 2.3. Funciona bem ao executá-lo no modo YARN-Client. No entanto, ao executá-lo no modo YARN-Cluster, nenhuma das minhas tabelas do Hive pode ser encontrada pelo aplicativo. Eu envio a inscrição ...
Como configurar os VCORES no hadoop mapreduce / yarn?
A seguir, minha configuração: **mapred-site.xml** map-mb : 4096 opts:-Xmx3072m reduce-mb : 8192 opts:-Xmx6144m **yarn-site.xml** resource memory-mb : 40GB min allocation-mb : 1GBos Vcores no cluster hadoop exibiam 8GB, mas eu não sei como o ...
Hadoop 2.6.0: Erro básico ao iniciar o MRAppMaster após a instalação
Comecei a trabalhar com o Hadoop 2. Depois de instalar com configurações básicas, sempre falhava ao executar quaisquer exemplos. Alguém viu esse problema e por favor me ajude? E o erro é algo como Error starting MRAppMaster ...
Aplicativos não mostrados na interface do usuário do fio ao executar o trabalho mapreduce hadoop?
estou usandoHadoop2.2. Vejo que meus trabalhos são concluídos com sucesso. Eu posso navegar no sistema de arquivos para encontrar a saída. No entanto, quando eu navegohttp://NNode:8088/cluster/apps, Não consigo ver os aplicativos que foram ...