Onde está minha saída do redutor EMR da AWS para o meu trabalho concluído (deve estar no S3, mas nada lá)?

Estou tendo um problema em que meu trabalho do Hadoop no EMR da AWS não está sendo salvo no S3. Quando executo o trabalho em uma amostra menor, o trabalho ar...

Definindo parâmetros hadoop com boto?

Estou tentando ativar a entrada incorreta ignorando meus trabalhos do Amazon Elastic MapReduce. Estou seguindo a maravilhosa receita descrita aqui:http://dev...

Obtendo "Não há espaço no dispositivo" por aprox. 10 GB de dados em instâncias do EMR m1.large

Erro: java.io.IOException: classe de valor errado: class org.apache.hadoop.io.Text não é a classe Myclass

Eu tenho meu mapeador e redutores da seguinte maneira. Mas estou recebendo algum tipo de exceção estranha. Não consigo descobrir por que está lançando esse tipo de exceção. public static class MyMapper implements Mapper<LongWritable, Text, Text, ...

Como definir o número máximo preciso de tarefas em execução simultânea por nó no Hadoop 2.4.0 no Elastic MapReduce

De acordo com http://blog.cloudera.com/blog/2014/04/apache-hadoop-yarn-avoiding-6-time-consuming-gotchas/ [http://blog.cloudera.com/blog/2014/04/apache-hadoop-yarn-avoiding-6-time-consuming-gotchas/] , a fórmula para determinar o número de ...

Por que o Yarn on EMR não aloca todos os nós para executar tarefas do Spark?

Estou executando um trabalho no Apache Spark no Amazon Elastic Map Reduce (EMR). Atualmente, estou executando o emr-4.1.0, que inclui o Amazon Hadoop 2.6.0 e o Spark 1.5.0. Quando inicio o trabalho, o YARN alocou corretamente todos os nós de ...

InputFormat do DynamoDB para o Hadoop

Eu tenho que processar alguns dados que são mantidos no Amazon Dynamo DB usando o Hadoop map reduce.Eu estava pesquisando na Internet para o Hadoop InputForm...

A redução falha devido a uma tentativa de tarefa que falhou ao informar o status por 600 segundos. Matando! Solução?

Entrada e saída de dados do Elastic MapReduce HDFS

Escrevi um programa Hadoop que requer um determinado layout no HDFS e, posteriormente, preciso retirar os arquivos do HDFS. Ele funciona na minha configuração Hadoop de nó único e estou ansioso para fazê-lo funcionar em dezenas de nós no Elastic ...

hadoop convertendo \ r \ n para \ n e quebrando o formato ARC

Estou tentando analisar dados do commoncrawl.org usando o hadoop streaming. Eu configurei um hadoop local para testar meu código e tenho um mapeador Ruby simples que usa um leitor ARCfile de streaming. Quando invoco meu código como cat ...