¿Dónde está mi salida del reductor AWR EMR para mi trabajo completado (debería estar en S3, pero no hay nada allí)?

¿Configurando parámetros hadoop con boto?

Estoy intentando habilitar la omisión de entrada incorrecta en mis trabajos de Amazon Elastic MapReduce. Estoy siguiendo la maravillosa receta descrita aquí:...

Obteniendo "No queda espacio en el dispositivo" durante aprox. 10 GB de datos en EMR m1.large instancias

Aparece un error "No queda espacio en el dispositivo" cuando ejecuto mis trabajos de Amazon EMR utilizando m1.large como el tipo de instancia para ...

Error: java.io.IOException: valor incorrecto clase: clase org.apache.hadoop.io.Text no es clase Myclass

Tengo mi mapeador y reductores de la siguiente manera. Pero estoy recibiendo algún tipo de excepción extraña. No puedo entender por qué está lanzando semejan...

Cómo establecer el número máximo preciso de tareas que se ejecutan simultáneamente por nodo en Hadoop 2.4.0 en Elastic MapReduce

De acuerdo a http://blog.cloudera.com/blog/2014/04/apache-hadoop-yarn-avoiding-6-time-consuming-gotchas/ [http://blog.cloudera.com/blog/2014/04/apache-hadoop-yarn-avoiding-6-time-consuming-gotchas/] , la fórmula para determinar el número de ...

¿Por qué Yarn en EMR no asigna todos los nodos para ejecutar trabajos de Spark?

Estoy ejecutando un trabajo en Apache Spark en Amazon Elastic Map Reduce (EMR). Actualmente estoy ejecutando emr-4.1.0 que incluye Amazon Hadoop 2.6.0 y Spark 1.5.0. Cuando comienzo el trabajo, YARN ha asignado correctamente todos los nodos ...

DynamoDB InputFormat para Hadoop

Tengo que procesar algunos datos que se conservan en Amazon Dynamo DB utilizando Hadoop map reduce.Estaba buscando en Internet el Hadoop InputFormat para Dyn...

La reducción falla debido a que el intento de tarea no informó el estado durante 600 segundos. ¡Asesinato! ¿Solución?

Introducir datos dentro y fuera de Elastic MapReduce HDFS

He escrito un programa Hadoop que requiere un cierto diseño dentro de HDFS y que luego necesito sacar los archivos de HDFS. Funciona en mi configuración de Hadoop de nodo único y estoy ansioso por hacerlo funcionar en 10 de nodos dentro de ...

hadoop convirtiendo \ r \ n a \ ny rompiendo el formato ARC

Estoy tratando de analizar datos de commoncrawl.org usando hadoop streaming. Configuré un hadoop local para probar mi código, y tengo un mapeador Ruby simple que usa un lector de archivos ARC. Cuando invoco mi código yo mismo como cat ...