Resultados de la búsqueda a petición "hadoop"
es posible usar ssh en pod?
Hice una imagen de hadoop basada en centos usando dockerfile. Hay 4 nodos. Quiero configurar el clúster usando ssh-copy-id. Pero se ha producido un error. ERROR: ssh: connect to host [ip] port 22: Connection refused¿Como puedó resolver esté ...
Acceso remoto a HDFS en Kubernetes
Estoy tratando de configurar HDFS en minikube (por ahora) y más tarde en un clúster de Kubernetes DEV para poder usarlo con Spark. Quiero que Spark se ejecute localmente en mi máquina para poder ejecutarlo en modo de depuración durante el ...
Cómo convertir un archivo .txt al formato de archivo de secuencia de Hadoop
Para utilizar eficazmente los trabajos de reducción de mapas en Hadoop [http://hadoop.apache.org/], necesito datos para ser almacenados en Formato de archivo de secuencia de ...
¿Crear una tabla temporal en Hive?
¿Hive admite tablas temporales? No puedo encontrarlo en los documentos de Apache.
Comenzando con hadoop en windows
Soy un novato aquí. Me encanta codificar y desarrollar programas propios ... Antes de ayer tuve la idea de configurar Hadoop en Windows. Acabo de recuperar todas las pilas pero no pude instalarlo con éxito. Adjunto capturas de pantalla junto con ...
¿Cómo arreglo "El archivo solo se puede replicar a 0 nodos en lugar de minReplication (= 1)"?
Hice una pregunta similar hace un tiempo [https://stackoverflow.com/questions/53959342/why-do-i-get-file-could-only-be-replicated-to-0-nodes-when-writing-to-a-partit] , y pensé que había resuelto este problema, pero resultó que ...
Hadoop HDFS tamaño máximo de archivo
Un colega mío cree que HDFS no tiene un tamaño máximo de archivo, es decir, al particionar en fragmentos de 128/256 meg se puede almacenar cualquier tamaño de archivo (obviamente, el disco HDFS tiene un tamaño y eso limitará, pero ese es el ...
MapReduce (secundaria) clasificación / filtrado - ¿cómo?
Tengo un archivo de registro de valores con marca de tiempo (usuarios concurrentes) de diferentes "zonas" de una aplicación web de sala de chat en el formato "Marca de tiempo; Zona; Valor". Para cada zona existe un valor por minuto de cada ...
¿Cómo mover archivos en Hadoop con la API de Java?
Quiero mover archivos en HDFS utilizando las API de Java. No puedo encontrar una manera de hacer esto. La clase FileSystem solo parece querer permitir moverse hacia y desde el sistema de archivos local ... pero quiero mantenerlos en HDFS y ...
Hadoop, cómo comprimir la salida del mapeador pero no la salida del reductor
Tengo un programa java map-reduce en el que trato de comprimir solo la salida del mapeador pero no la salida del reductor. Pensé que esto sería posible configurando las siguientes propiedades en la instancia de Configuración como se detalla a ...