Resultados de la búsqueda a petición "hdfs"
¿Cómo arreglo "El archivo solo se puede replicar a 0 nodos en lugar de minReplication (= 1)"?
Hice una pregunta similar hace un tiempo [https://stackoverflow.com/questions/53959342/why-do-i-get-file-could-only-be-replicated-to-0-nodes-when-writing-to-a-partit] , y pensé que había resuelto este problema, pero resultó que ...
Hadoop HDFS tamaño máximo de archivo
Un colega mío cree que HDFS no tiene un tamaño máximo de archivo, es decir, al particionar en fragmentos de 128/256 meg se puede almacenar cualquier tamaño de archivo (obviamente, el disco HDFS tiene un tamaño y eso limitará, pero ese es el ...
¿Cómo mover archivos en Hadoop con la API de Java?
Quiero mover archivos en HDFS utilizando las API de Java. No puedo encontrar una manera de hacer esto. La clase FileSystem solo parece querer permitir moverse hacia y desde el sistema de archivos local ... pero quiero mantenerlos en HDFS y ...
Hadoop, cómo comprimir la salida del mapeador pero no la salida del reductor
Tengo un programa java map-reduce en el que trato de comprimir solo la salida del mapeador pero no la salida del reductor. Pensé que esto sería posible configurando las siguientes propiedades en la instancia de Configuración como se detalla a ...
Lectura programática de la salida del programa Hadoop Mapreduce
Esta puede ser una pregunta básica, pero no pude encontrar una respuesta en Google. Tengo un trabajo de reducción de mapas que crea múltiples archivos de salida en su directorio de salida. Mi aplicación Java ejecuta este trabajo en un ...
Partition Hive table por campo existente?
Puedo particionar una tabla de Hive al insertarla en un campo existente? Tengo un archivo de 10 GB con un campo de fecha y un campo de hora del día. ¿Puedo cargar este archivo en una tabla y luego insertar-sobrescribir en otra tabla ...
Problema de permisos de Apache Pig
Estoy intentando poner en funcionamiento Apache Pig en mi clúster Hadoop y encuentro un problema de permisos. Pig se está iniciando y conectando al clúster muy bien, desde el interior de la carcasa de Pig, puedols a través y alrededor de mis ...
HDFS factor de replicación
Cuando estoy cargando un archivo a HDFS, si configuro el factor de replicación en 1, ¿entonces las divisiones de archivos residirán en una sola máquina o las divisiones se distribuirán a varias máquinas en la red? hadoop fs -D dfs.replication=1 ...
Diferencia entre hadoop fs -put y hadoop fs -copyFromLocal
-put y-copyFromLocal están documentados como idénticos, mientras que la mayoría de los ejemplos usan la variante detallada -copyFromLocal. ¿Por qué Lo mismo para-get y-copyToLocal
Hadoop fs búsqueda de tamaño de bloque?
En Hadoop fs, ¿cómo buscar el tamaño de bloque para un archivo en particular? Me interesaba principalmente una línea de comando, algo como: hadoop fs ... hdfs://fs1.data/... Pero parece que eso no existe. ¿Hay una solución Java?