Resultados da pesquisa a pedido "yarn"
Executando o Spark no YARN no modo de cluster de fios: Para onde vai a saída do console?
Segui esta página e executei o aplicativo de exemplo SparkPi no YARN no modo de cluster de fios. http://spark.apache.org/docs/latest/running-on-yarn.html [http://spark.apache.org/docs/latest/running-on-yarn.html] Não vejo a saída do programa no ...
Algum comando para obter o namenode ativo para o nameservice no hadoop?
O comando: hdfs haadmin -getServiceState machine-98Funciona apenas se você souber o nome da máquina. Existe algum comando como: hdfs haadmin -getServiceState <nameservice>que pode indicar o IP / nome do host doativonamenode?
Hadoop 2.6.0: Erro básico ao iniciar o MRAppMaster após a instalação
Comecei a trabalhar com o Hadoop 2. Depois de instalar com configurações básicas, sempre falhava ao executar quaisquer exemplos. Alguém viu esse problema e por favor me ajude? E o erro é algo como Error starting MRAppMaster ...
Recursos / Documentação sobre como o processo de failover funciona para o Spark Driver (e seu YARN Container) no modo de cluster de fios
Estou tentando entender se o Spark Driver é um ponto único de falha ao implantar no modo de cluster para o Yarn. Então, eu gostaria de ter uma melhor compreensão das entranhas do processo de failover em relação ao contêiner YARN do driver Spark ...
Como acessar o S3 / S3n em uma instalação local do Hadoop 2.6?
Estou tentando reproduzir um cluster do Amazon EMR na minha máquina local. Para esse efeito, instalei oúltima versão estável do Hadoop a partir de agora - 2.6.0 [http://ftp.cixug.es/apache/hadoop/common/hadoop-2.6.0/]. Agora eu gostaria ...
Como registrar usando log4j no sistema de arquivos local dentro de um aplicativo Spark que é executado no YARN?
Estou criando um aplicativo Apache Spark Streaming e não consigo fazer logon em um arquivo no sistema de arquivos localao executá-lo no YARN. Como conseguir isso? Eu configureilog4.properties para que ele possa gravar com êxito em um arquivo de ...
O que é memória reservada no fio
Consegui iniciar um aplicativo spark no Yarn. No entanto, o uso de emory é meio estranho, como você pode ver abaixo: http://imgur.com/1k6VvSI [http://imgur.com/1k6VvSI] O que significa memória reservada? Como posso usar com eficiência toda a ...
Por que o Hadoop relata "dirs locais e dirs de log de nó não íntegro são ruins"?
Estou tentando configurar um cluster Hadoop 2.6.0 de nó único no meu PC. Ao visitarhttp: // localhost: 8088 / cluster [http://localhost:8088/cluster], Acho que meu nó está listado como um "nó não íntegro". No relatório de integridade, ele ...
Aplicação em execução Spark Spark
Eu tenho um aplicativo Spark em execução, onde ele ocupa todos os núcleos, onde meus outros aplicativos não receberão nenhum recurso. Eu fiz uma pesquisa rápida e as pessoas sugeriram o uso do YARN kill ou / bin / spark-class para matar o ...
Por que existe uma configuração mapreduce.jobtracker.address no YARN?
YARN é a segunda geração do Hadoop que não usa mais o daemon do jobtracker e o substitui pelo gerenciador de recursos. Mas por que, no mapred-site.xml hadoop 2, existe uma propriedade mapreduce.jobtracker.address?