A manipulação de erros no mapa hadoop reduz

Com base na documentação, existem algumas maneiras de reduzir o tratamento de erros no mapa. Abaixo estão alguns:

uma. Contadores personalizados usando enum - incremento para cada registro com falha.

b. Registre o erro e analise mais tarde.

Os contadores fornecem o número de registros com falha. No entanto, para obter o identificador do registro com falha (pode ser sua chave exclusiva) e os detalhes da exceção ocorreu, nó no qual o erro ocorreu - precisamos executar uma análise centralizada do log e há muitos nós em execução. O Logstash está disponível.

Além desses, existem outras maneiras de lidar com os cenários de erro, sem intervenção manual. Quaisquer ferramentas, referências, boas práticas são bem-vindas.

Eu acho que a mesma técnica se aplica a qualquer aplicativo distribuído, com pequenas alterações.

questionAnswers(1)

yourAnswerToTheQuestion