Resultados da pesquisa a pedido "hadoop2"
Como acessar o S3 / S3n em uma instalação local do Hadoop 2.6?
Estou tentando reproduzir um cluster do Amazon EMR na minha máquina local. Para esse efeito, instalei oúltima versão estável do Hadoop a partir de agora - 2.6.0 [http://ftp.cixug.es/apache/hadoop/common/hadoop-2.6.0/]. Agora eu gostaria ...
Práticas padrão para efetuar logon em tarefas do MapReduce
Estou tentando encontrar a melhor abordagem para fazer logon nos trabalhos do MapReduce. Estou usando o slf4j com o log4j appender como em meus outros aplicativos Java, mas como o trabalho do MapReduce é executado de maneira distribuída pelo ...
O que é memória reservada no fio
Consegui iniciar um aplicativo spark no Yarn. No entanto, o uso de emory é meio estranho, como você pode ver abaixo: http://imgur.com/1k6VvSI [http://imgur.com/1k6VvSI] O que significa memória reservada? Como posso usar com eficiência toda a ...
O comando hdfs foi descontinuado no hadoop
Como estou seguindo o procedimento ...
Não foi possível localizar ou carregar a classe principal com.sun.tools.javac.Main hadoop mapreduce
Estou tentando aprender o MapReduce, mas estou um pouco perdido no ...
Colocar arquivo no HDFS com espaços no nome
Eu tenho um arquivo chamadofile name(1).zip (com o espaço e parênteses) e eu quero colocar esse arquivo no HDFS. Mas sempre que tento colocá-lo viahadoop fs -put ... , Recebo uma exceção. Eu até tentei adicionar aspas ao arquivo e até tentei ...
Reconhecimento da operação de gravação de dados do Hadoop 2.0
Eu tenho uma pequena consulta sobre gravações de dados hadoop Da documentação do Apache No caso comum, quando o fator de replicação é três, a política de posicionamento do HDFS é colocar uma réplica em um nó no rack local, outra em um nó em um ...
Nó de nome, nó secundário e nó de verificação do Hadoop 2.0 para alta disponibilidade
Depois de ler o ApacheDocumentação do Hadoop [http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html] , existe uma pequena confusão na compreensão das responsabilidades do nó secundário e do nó do ponto de ...
Como funciona o processo de failover do Hadoop Namenode?
O guia definitivo do Hadoop diz: Cada Namenode é executadoum processo leve de controlador de failover, cujo trabalho émonitorar seu Namenode quanto a falhas(usando um mecanismo simples de pulsação) e acionar um failover caso um modo de nome ...
Como o hadoop decide quantos nós mapeará e reduzirá as tarefas
Eu sou novo no hadoop e estou tentando entender. Estou falando do hadoop 2. Quando tenho um arquivo de entrada que gostaria de fazer um MapReduce, no programa MapReduce digo o parâmetro do Split, para que ele execute tantas tarefas de mapa quanto ...