Resultados de la búsqueda a petición "hdfs"
Hadoop fs búsqueda de tamaño de bloque?
En Hadoop fs, ¿cómo buscar el tamaño de bloque para un archivo en particular? Me interesaba principalmente una línea de comando, algo como: hadoop fs ... hdfs://fs1.data/... Pero parece que eso no existe. ¿Hay una solución Java?
¿Falta el personaje de nueva línea?
Copié un archivo de HDFS en mi sistema de archivos local (todo en RH Linux). Sin embargo, después de la copia, si yocat el archivo, veo lo siguiente: [me@ac12 ~]$ cat file_copy 0|name|string 1|phone|string 2|age|string[me@ac12 ~]$ Lo que ...
Almacenamiento de imágenes escalable
Actualmente estoy diseñando una arquitectura para una aplicación basada en web que también debería proporcionar algún tipo de almacenamiento de imágenes. Los...
¿Es posible restringir que un trabajo de MapReduce acceda a datos remotos?
Tenemos un algoritmo particular que queremos integrar con HDFS. El algoritmo requiere que accedamos a los datos localmente (el trabajo se realizaría exclusivamente en elMapper) Sin embargo, queremos aprovechar HDFS en términos de distribución del ...
Guardar JSON en HDFS usando Python
Tengo un script de Python que actualmente accede a una API que devuelve JSON. Luego toma la cadena JSON y la guarda como un archivo en el sistema de archivos local, donde luego lo muevo a HDFS manualmente. Me gustaría cambiar esto para que mi ...
Modo pseudo-distribuido de Hadoop: no se inicia Datanode y tasktracker
Estoy ejecutando una distribución de la versión 6.4 (Santiago) de Red Hat Enterprise Linux Server con Hadoop 1.1.2 instalado. He realizado las configuracione...
Acceso remoto a HDFS en Kubernetes
Estoy tratando de configurar HDFS en minikube (por ahora) y más tarde en un clúster de Kubernetes DEV para poder usarlo con Spark. Quiero que Spark se ejecute localmente en mi máquina para poder ejecutarlo en modo de depuración durante el ...
El script de shell de trabajo sqoop se ejecuta en paralelo en oozie
Tengo un script de shell que se ejecutasqoop job. El guión está abajo. !#/bin/bash table=$1 sqoop job --exec ${table}Ahora, cuando paso el nombre de la tabla en el flujo de trabajo, obtengo el trabajo sqoop para que se ejecute correctamente. El ...
comando hadoop fs -put
He construido un entorno Hadoop de un solo nodo en CentOS utilizando el repositorio CDH de Cloudera. Cuando quiero copiar un archivo local a HDFS, usé el com...