Resultados de la búsqueda a petición "hadoop"
Salida múltiple en reductor
Estoy trabajando en un programa simple de reducción de mapas. Quiero crear diferentes archivos después del reductor para cada palabra diferente en la clave. Por ejemplo, después de ejecutar Mapreduce tengo algo como Prioridad 1 x 2 ...
Maven - Versión de dependencia diferente en la prueba
Estoy sufriendo un problema similar aMaven 2: diferentes versiones de dependencia en prueba y compilación [https://stackoverflow.com/questions/6575742/maven-2-different-dependency-versions-in-test-and-compile] pero la respuesta especificada ...
¿Cómo escribir trabajos de hadoop 'solo mapa'?
Soy un novato en hadoop, me estoy familiarizando con el estilo de la programación de reducción de mapas, pero ahora me enfrento a un problema: a veces solo necesito un mapa para un trabajo y solo necesito el resultado del mapa directamente como ...
Parcar archivos PDF en Hadoop Map Reduce
Tengo que analizar archivos PDF, que están en HDFS en un programa Map Reduce en Hadoop. Entonces obtengo el archivo PDF de HDFS comoInput splits y debe analizarse y enviarse a la clase Mapper. Para implementar este InputFormat, había pasado por ...
¿Cómo cargar archivos en el clúster hadoop usando apache pig?
Tengo un script de pig y necesito cargar archivos del clúster hadoop local. Puedo enumerar los archivos usando el comando hadoop: hadoop fs –ls / repo / mydata, `pero cuando intenté cargar archivos en script pig, falló. la declaración de carga ...
Cuáles son los pros y los contras de ejecutar un trabajo en Hadoop usando varios idiomas?
He estado usando Pig o Java para Map Reduce exclusivamente para ejecutar trabajos en un clúster Hadoop hasta ahora. Recientemente probé usando Python Map Reduce a través de la transmisión de Hadoop y eso también fue genial. Todo esto tiene ...
Hbase: Cómo especificar el nombre de host para Hbase master
Estoy luchando por configurar un clúster distribuido Hbase con 2 nodos, uno es mi máquina y otro es la VM, usando el adaptador "solo host" en VirtualBox. Mi problema es que el servidor de la región (desde la máquina VM) no puede conectarse al ...
¿Cómo puedo dividir una tabla con HIVE?
He estado jugando con Hive durante algunos días, pero aún me cuesta mucho particionar. He estado grabando registros de Apache (formato combinado) en Hadoop durante unos meses. Se almacenan en formato de texto de fila, divididos por fecha ...
eplicación @HDFS: datos almacenados
Soy un novato relativo a hadoop y quiero comprender mejor cómo funciona la replicación en HDFS. Diga que tengo un sistema de 10 nodos (1 TB cada nodo), lo que me da una capacidad total de 10 TB. Si tengo un factor de replicación de 3, entonces ...
identityreducer en la nueva API de Hadoop
Pasé casi un día, pero no pude entender cómo usar IdentityReducer en la nueva API de Hadoop. Todas las referencias o clases que puedo encontrar están con la antigua API. Y, obviamente, mezclar la antigua clase idetntitreducer de API en la nueva ...