Resultados de la búsqueda a petición "hadoop"
Diferentes formas de configurar la memoria para el proceso secundario TaskTracker (Mapper y Reduce Tasks)
¿Cuál es la diferencia entre configurar el mapred.job.map.memory.mb [https://issues.apache.org/jira/browse/HADOOP-5881] y mapred.child.java.opts [http://hadoop.apache.org/common/docs/current/mapred-default.html] usando -Xmx para controlar la ...
Java o Pig regex para eliminar valores de la cadena de UserAgent
Necesito eliminar el tercer valor y los siguientes en el componente 'entre paréntesis' de la cadena del agente de usuario. Para obtene Mozilla / 4.0 (compatible; MSIE 8.0) desd Mozilla / 4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident / ...
Formación de red neuronal en paralelo, mejor usar Hadoop o una gpu?
Necesito entrenar una red neuronal con 2-4 capas ocultas, aún no estoy seguro de la estructura de la red real. Estaba pensando en entrenarlo usando Hadoop map reduce (cluster de 12 pcs) o una gpu para obtener resultados más rápidos. ¿Qué crees ...
areas de @Hadoop: "execvp: permiso denegado"
En un pequeño clúster de Hadoop configurado en varias estaciones de trabajo para desarrolladores (es decir, tienen diferentes configuraciones locales), tengo un TaskTracker de 6 que está siendo problemático. Cada vez que recibe una tarea, esa ...
Utilización completa de todos los núcleos en modo pseudodistribuido de Hadoop
Estoy ejecutando una tarea en modo pseudodistribuido en mi computadora portátil de 4 núcleos. ¿Cómo puedo asegurarme de que todos los núcleos se utilizan de manera efectiva? Actualmente, mi rastreador de trabajos muestra que solo se ...
Diferencia entre `hadoop dfs` y` hadoop fs` [cerrado]
Yo vi eldfs comando, luego fui a la documentación pero no puedo entenderlo. Desde mi punto de vistafs ydfs trabajando de manera similar. ¿Alguien da la diferencia exacta?
Hadoop fs búsqueda de tamaño de bloque?
En Hadoop fs, ¿cómo buscar el tamaño de bloque para un archivo en particular? Me interesaba principalmente una línea de comando, algo como: hadoop fs ... hdfs://fs1.data/... Pero parece que eso no existe. ¿Hay una solución Java?
out of Error de memoria en Hadoop
ntenté instalar Hadoop después de estohttp: //hadoop.apache.org/common/docs/stable/single_node_setup.htm [http://hadoop.apache.org/common/docs/stable/single_node_setup.html] documento. Cuando intenté ejecutar esto bin/hadoop jar ...
Clase de clave incorrecta: el texto no es IntWritable
Esto puede parecer una pregunta estúpida, pero no veo el problema en mis tipos en mi código mapreduce para hadoop omo se indicó en la pregunta, el problema es que está esperando IntWritable pero le estoy pasando un objeto de texto en el ...
En Hadoop, ¿dónde guarda el marco la salida de la tarea Map en una aplicación Map-Reduce normal?
stoy tratando de averiguar dónde se guarda la salida de una tarea de Mapa en el disco antes de que pueda ser utilizada por una tarea Reducir. Nota - la versión utilizada es Hadoop 0.20.204 con la nueva API Por ejemplo, al sobrescribir el ...