Resultados de la búsqueda a petición "hadoop"
Procesamiento de datos a gran escala Hbase vs Cassandra [cerrado]
Estoy a punto de aterrizar en Cassandra después de mi investigación sobre soluciones de almacenamiento de datos a gran escala. Pero generalmente se dice que Hbase es una mejor solución para el procesamiento y análisis de datos a ...
Pueden escalar los algoritmos de fuerza brut
Tengo un problema matemático que resuelvo por prueba y error (creo que esto se llama fuerza bruta), y el programa funciona bien cuando hay algunas opciones, pero a medida que agrego más variables / datos, tarda más y más en ejecutarse . Mi ...
Acceso a HBase ejecutándose en VM con un cliente en el sistema host
Intento escribir algunos datos en hbase con un programa cliente HBase @ Hadoop se ejecuta en una máquina virtual preconfigurada desde Cloudera @ ubuntu. El Cliente se ejecuta en el sistema que aloja la VM y funciona el cliente directamente en ...
Obtenga el nombre del archivo de entrada en el programa de transmisión de hadoop
Puedo encontrar el nombre si el archivo de entrada en una clase de mapeador usando FileSplit al escribir el programa en Java. ¿Hay una forma correspondiente de hacer esto cuando escribo un programa en Python (usando streaming?) Encontré lo ...
Filtrar una cadena sobre la base de una palabra
Tengo un trabajo de cerdo en el que necesito filtrar los datos encontrando una palabra, Aquí está el fragmento A = LOAD '/home/user/filename' USING PigStorage(','); B = FOREACH A GENERATE $27,$38; C = FILTER B BY ( $1 == '*Word*'); STORE C ...
¿Cómo decirle a MapReduce cuántos mapeadores usar?
Estoy tratando de optimizar la velocidad del trabajo MapReduce. ¿Hay alguna forma de decirle a hadoop que use un número particular de procesos de mapeo / reductor? O, al menos, un número mínimo de procesos de mapeo? n la documentación, se ...
¿Cómo decide Hive cuándo usar el mapa reducido y cuándo no?
Como ejemplo simple, select * from tablename; NO patea en el mapa reducir, mientras que select count(*) from tablename;HACE. ¿Cuál es el principio general utilizado para decidir cuándo usar map reduce (por colmena)?
as opciones de @Hadoop no tienen ningún efecto (mapreduce.input.lineinputformat.linespermap, mapred.max.map.failures.percent)
Estoy tratando de implementar un trabajo MapReduce, donde cada uno de los mapeadores tomaría 150 líneas del archivo de texto, y todos los mapeadores se ejecutarían simultáneamente; Además, no debe fallar, no importa cuántas tareas de mapa ...
¿Por qué necesitamos establecer la clase de clave / valor de salida explícitamente en el programa Hadoop?
En el libro "Hadoop: The Definitive Guide", hay un programa de muestra con el siguiente código. JobConf conf = new JobConf(MaxTemperature.class); conf.setJobName("Max temperature"); FileInputFormat.addInputPath(conf, new ...
¿Cómo extraer datos en las funciones de Mapa / Reducir?
De acuerdo con laHadoop: la guía definitiva [http://shop.oreilly.com/product/0636920010388.do]. La nueva API admite un estilo de iteración "push" y "pull". En ambas API, los pares de registros clave-valor se envían al asignador, pero además, la ...