Resultados de la búsqueda a petición "hadoop"
Configure Map Side join para múltiples mapeadores en Hadoop Map / Reduce
Tengo una pregunta sobre la configuración de la unión interna Mapa / Lado para múltiples mapeadores en Hadoop. Supongamos que tengo dos conjuntos de datos muy grandes A y B, uso la misma partición y algoritmo de clasificación para dividirlos en ...
Permutaciones con MapReduce
¿Hay alguna forma de generar permutaciones con MapReduce? fichero de entrada 1 title1 2 title2 3 title3mi meta 1,2 title1,title2 1,3 title1,title3 2,3 title2,title3
¿Qué es el Dremel de Google? ¿Cómo es diferente de Mapreduce?
Dremel de Google esdescrito aquí [http://research.google.com/pubs/pub36632.html]. ¿Cuál es la diferencia entre Dremel y Mapreduce?
Partition Hive table por campo existente?
Puedo particionar una tabla de Hive al insertarla en un campo existente? Tengo un archivo de 10 GB con un campo de fecha y un campo de hora del día. ¿Puedo cargar este archivo en una tabla y luego insertar-sobrescribir en otra tabla ...
Hadoop mapreduce: controlador para encadenar mapeadores dentro de un trabajo MapReduce
Tengo un trabajo mapreduce: mi código Clase de mapa: public static class MapClass extends Mapper<Text, Text, Text, LongWritable> { @Override public void map(Text key, Text value, Context context) throws IOException, InterruptedException { } }Y ...
Establecer el número de tareas de mapa y reducir tareas
Actualmente estoy ejecutando un trabajo, fijé el número de tareas del mapa en 20, pero obtuve un número mayor. También configuré la tarea de reducción a cero, pero todavía obtengo un número distinto de cero. El tiempo total para completar el ...
Cómo imprimir en la consola durante la ejecución del trabajo MapReduce en hadoop
Quiero imprimir cada paso de mi "mapa" después de su ejecución en la consola. Algo com System.out.println ("Paso uno completado"); System.out.println ("Paso dos completado"); y as Existe un comando especial para hacer eso o no es posible, ...
Hadoop en OSX "No se puede cargar la información del reino de SCDynamicStore"
Recibo este error al iniciar Hadoop en OSX 10.7: No se puede cargar información del reino desde SCDynamicStore put: org.apache.hadoop.hdfs.server.namenode.SafeModeException: No se puede crear el directorio / usuario / travis / input / conf. El ...
Hadoop: ¿comprimir archivo en HDFS?
Recientemente configuré la compresión LZO en Hadoop. ¿Cuál es la forma más fácil de comprimir un archivo en HDFS? Quiero comprimir un archivo y luego eliminar el original. ¿Debo crear un trabajo de MR con un IdentityMapper y un IdentityReducer ...
Problema de permisos de Apache Pig
Estoy intentando poner en funcionamiento Apache Pig en mi clúster Hadoop y encuentro un problema de permisos. Pig se está iniciando y conectando al clúster muy bien, desde el interior de la carcasa de Pig, puedols a través y alrededor de mis ...