Resultados de la búsqueda a petición "mapreduce"
Hadoop Map Reduce lee un archivo de texto
Estoy tratando de escribir un programa MapReduce que pueda leer un archivo de entrada y escribir la salida en otro archivo de texto. Estoy planeando usar la clase BufferedReader para esto. Pero realmente no sé cómo usarlo en un ...
¿Cómo configurar los VCORES en hadoop mapreduce / yarn?
Los siguientes son mi configuración: **mapred-site.xml** map-mb : 4096 opts:-Xmx3072m reduce-mb : 8192 opts:-Xmx6144m **yarn-site.xml** resource memory-mb : 40GB min allocation-mb : 1GBlos Vcores en el clúster hadoop mostraban 8 GB, pero no sé ...
¿Puede Hive recursivamente descender a subdirectorios sin particiones o edición hive-site.xml?
Tengo algunos registros del servidor web que me gustaría consultar con Hive. La estructura del directorio, en HDFS, se ve así: /data/access/web1/2014/09 /data/access/web1/2014/09/access-20140901.log [... etc ...] /data/access/web1/2014/10 ...
¿Qué es el contexto de palabras clave en el mundo de programación de Hadoop?
¿Qué es exactamente esta palabra clave?Contextoen el mundo de Hadoop MapReduce en nuevos términos de API? Se usa ampliamente para escribir pares de salida de Maps y Reduce, sin embargo, no estoy seguro de si se puede usar en otro lugar y qué ...
Reduzca un par clave-valor en un par clave-lista con Apache Spark
Estoy escribiendo una aplicación Spark y quiero combinar un conjunto de pares clave-valor(K, V1), (K, V2), ..., (K, Vn) en un par clave-valor múltiple(K, [V1, V2, ..., Vn]). Siento que debería poder hacer esto usando elreduceByKey funcionar con ...
Map Reduce los archivos jar del cliente para 2.4.1 hadoop en eclipse
Cuando corro mihadoop mapreduce word count jar enhadoop carpeta en shell, se ejecuta correctamente y la salida se genera correctamente, Desde que usoyarn en caso dehadoop 2.4.1, cuando corro del eclipse porMapReduce Sample program, Proceso MAP ...
Hadoop entradas múltiples
Estoy usando hadoop map reduce y quiero calcular dos archivos. Mi primera iteración Map / Reduce me está dando un archivo con un número de ID de par como este: A 30 D 20Mi objetivo es usar esa ID del archivo para asociarla con otro archivo y ...
¿Cómo usar Cassandra's Map Reduce con o sin Pig?
¿Alguien puede explicar cómo funciona MapReduce con Cassandra .6? He leído el ejemplo de conteo de palabras, pero no entiendo lo que está sucediendo en el extremo de Cassandra frente al extremo del ...
Mapfile como entrada para un trabajo MapReduce
Recientemente comencé a usar Hadoop y tengo un problema al usar un Mapfile como entrada para un trabajo de MapReduce. El siguiente código de trabajo, escribe un MapFile simple llamado "TestMap" en hdfs donde hay tres claves de tipo Text y tres ...
Particionador Hadoop
Quiero preguntar sobre el particionador de Hadoop, ¿está implementado en Mappers? Cómo medir el rendimiento del uso del particionador hash predeterminado: ¿hay un mejor particionador para reducir el sesgo de datos? Gracias