Resultados da pesquisa a pedido "hadoop2"
Colocar arquivo no HDFS com espaços no nome
Eu tenho um arquivo chamadofile name(1).zip (com o espaço e parênteses) e eu quero colocar esse arquivo no HDFS. Mas sempre que tento colocá-lo viahadoop fs -put ... , Recebo uma exceção. Eu até tentei adicionar aspas ao arquivo e até tentei ...
a saída da fase do mapa do trabalho de mapreduce está sempre classificada?
Estou um pouco confuso com a saída que recebo do Mapper. Por exemplo, quando executo um programa simples de contagem de palavras, com este texto de entrada: hello world Hadoop programming mapreduce wordcount lets see if this works 12345678 ...
O que é memória reservada no fio
Consegui iniciar um aplicativo spark no Yarn. No entanto, o uso de emory é meio estranho, como você pode ver abaixo: http://imgur.com/1k6VvSI [http://imgur.com/1k6VvSI] O que significa memória reservada? Como posso usar com eficiência toda a ...
Aguarde por tempo indeterminado com "Solicitado para enviar locais de saída do mapa para embaralhar"
Meus trabalhos geralmente ficam com esse tipo de mensagem: 14/09/01 00:32:18 INFO spark.MapOutputTrackerMasterActor: Asked to send map output locations for shuffle 0 to spark@*:37619Seria ótimo se alguém pudesse explicar o que o Spark está ...
Como acessar o S3 / S3n em uma instalação local do Hadoop 2.6?
Estou tentando reproduzir um cluster do Amazon EMR na minha máquina local. Para esse efeito, instalei oúltima versão estável do Hadoop a partir de agora - 2.6.0 [http://ftp.cixug.es/apache/hadoop/common/hadoop-2.6.0/]. Agora eu gostaria ...
Práticas padrão para efetuar logon em tarefas do MapReduce
Estou tentando encontrar a melhor abordagem para fazer logon nos trabalhos do MapReduce. Estou usando o slf4j com o log4j appender como em meus outros aplicativos Java, mas como o trabalho do MapReduce é executado de maneira distribuída pelo ...
Existem 0 tipos de dados em execução e nenhum nó é excluído nesta operação
Eu configurei um cluster Hadoop de vários nós. O NameNode e o Secondenode secundário são executados na mesma máquina e o cluster possui apenas um Datanode. Todos os nós estão configurados nas máquinas Amazon EC2. A seguir, estão os arquivos de ...
faísca falha no windows: <console>: 16: erro: não encontrado: valor sqlContext
Eu instalo o spark no windows, mas ele não foi executado, mostrando o erro abaixo: <console>:16: error: not found: value sqlContext import sqlContext.implicits._ ^ <console>:16: error: not found: value sqlContext import sqlContext.sql ^Tentei os ...
Nó de nome, nó secundário e nó de verificação do Hadoop 2.0 para alta disponibilidade
Depois de ler o ApacheDocumentação do Hadoop [http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html] , existe uma pequena confusão na compreensão das responsabilidades do nó secundário e do nó do ponto de ...
Como o hadoop decide quantos nós mapeará e reduzirá as tarefas
Eu sou novo no hadoop e estou tentando entender. Estou falando do hadoop 2. Quando tenho um arquivo de entrada que gostaria de fazer um MapReduce, no programa MapReduce digo o parâmetro do Split, para que ele execute tantas tarefas de mapa quanto ...