Programando um trabalho no AWS EC2

Tenho um site em execução no AWS EC2. Preciso criar um trabalho noturno que gere um arquivo de sitemap e faça o upload dos arquivos para os vários navegadores. Estou procurando um utilitário na AWS que permita essa funcionalidade. Eu considerei ...

Erro: java.io.IOException: classe de valor errado: class org.apache.hadoop.io.Text não é a classe Myclass

Eu tenho meu mapeador e redutores da seguinte maneira. Mas estou recebendo algum tipo de exceção estranha. Não consigo descobrir por que está lançando esse tipo de exceção. public static class MyMapper implements Mapper<LongWritable, Text, Text, ...

Entrada e saída de dados do Elastic MapReduce HDFS

Escrevi um programa Hadoop que requer um determinado layout no HDFS e, posteriormente, preciso retirar os arquivos do HDFS. Ele funciona na minha configuração Hadoop de nó único e estou ansioso para fazê-lo funcionar em dezenas de nós no Elastic ...

Onde está minha saída do redutor EMR da AWS para o meu trabalho concluído (deve estar no S3, mas nada lá)?

Estou tendo um problema em que meu trabalho do Hadoop no EMR da AWS não está sendo salvo no S3. Quando executo o trabalho em uma amostra menor, o trabalho ar...

Muitos arquivos abertos no EMR

Eu estou recebendo a seguinte excpetion em meus redutores:

hadoop convertendo \ r \ n para \ n e quebrando o formato ARC

Estou tentando analisar dados do commoncrawl.org usando o hadoop streaming. Eu configurei um hadoop local para testar meu código e tenho um mapeador Ruby simples que usa um leitor ARCfile de streaming. Quando invoco meu código como cat ...

Como especificar configurações mapred e opções de java com jar personalizado na CLI usando o EMR da Amazo

Gostaria de saber como especificar configurações de mapreduce como mapred.task.timeout, mapred.min.split.size etc., ao executar um trabalho de streaming usando jar personalizad Podemos usar a seguinte maneira de especificar essas ...

A redução falha devido a uma tentativa de tarefa que falhou ao informar o status por 600 segundos. Matando! Solução?

InputFormat do DynamoDB para o Hadoop

Eu tenho que processar alguns dados que são mantidos no Amazon Dynamo DB usando o Hadoop map reduce.Eu estava pesquisando na Internet para o Hadoop InputForm...

Obtendo "Não há espaço no dispositivo" por aprox. 10 GB de dados em instâncias do EMR m1.large