Resultados de la búsqueda a petición "hdfs"

6 la respuesta

Hadoop fs búsqueda de tamaño de bloque?

En Hadoop fs, ¿cómo buscar el tamaño de bloque para un archivo en particular? Me interesaba principalmente una línea de comando, algo como: hadoop fs ... hdfs://fs1.data/... Pero parece que eso no existe. ¿Hay una solución Java?

1 la respuesta

¿Falta el personaje de nueva línea?

Copié un archivo de HDFS en mi sistema de archivos local (todo en RH Linux). Sin embargo, después de la copia, si yocat el archivo, veo lo siguiente: [me@ac12 ~]$ cat file_copy 0|name|string 1|phone|string 2|age|string[me@ac12 ~]$ Lo que ...

11 la respuesta

Almacenamiento de imágenes escalable

Actualmente estoy diseñando una arquitectura para una aplicación basada en web que también debería proporcionar algún tipo de almacenamiento de imágenes. Los...

2 la respuesta

¿Es posible restringir que un trabajo de MapReduce acceda a datos remotos?

Tenemos un algoritmo particular que queremos integrar con HDFS. El algoritmo requiere que accedamos a los datos localmente (el trabajo se realizaría exclusivamente en elMapper) Sin embargo, queremos aprovechar HDFS en términos de distribución del ...

4 la respuesta

¿Se almacenan múltiples archivos en un solo bloque?

2 la respuesta

Guardar JSON en HDFS usando Python

Tengo un script de Python que actualmente accede a una API que devuelve JSON. Luego toma la cadena JSON y la guarda como un archivo en el sistema de archivos local, donde luego lo muevo a HDFS manualmente. Me gustaría cambiar esto para que mi ...

3 la respuesta

Modo pseudo-distribuido de Hadoop: no se inicia Datanode y tasktracker

Estoy ejecutando una distribución de la versión 6.4 (Santiago) de Red Hat Enterprise Linux Server con Hadoop 1.1.2 instalado. He realizado las configuracione...

1 la respuesta

Acceso remoto a HDFS en Kubernetes

Estoy tratando de configurar HDFS en minikube (por ahora) y más tarde en un clúster de Kubernetes DEV para poder usarlo con Spark. Quiero que Spark se ejecute localmente en mi máquina para poder ejecutarlo en modo de depuración durante el ...

1 la respuesta

El script de shell de trabajo sqoop se ejecuta en paralelo en oozie

Tengo un script de shell que se ejecutasqoop job. El guión está abajo. !#/bin/bash table=$1 sqoop job --exec ${table}Ahora, cuando paso el nombre de la tabla en el flujo de trabajo, obtengo el trabajo sqoop para que se ejecute correctamente. El ...

3 la respuesta

comando hadoop fs -put

He construido un entorno Hadoop de un solo nodo en CentOS utilizando el repositorio CDH de Cloudera. Cuando quiero copiar un archivo local a HDFS, usé el com...