Resultados de la búsqueda a petición "hdfs"
Confirmación de operación de escritura de datos Hadoop 2.0
Tengo una pequeña consulta sobre escrituras de datos hadoop De la documentación de Apache Para el caso común, cuando el factor de replicación es tres, la política de colocación de HDFS es colocar una réplica en un nodo en el bastidor local, ...
¿Cómo descomprimir archivos almacenados en HDFS usando Java, sin copiar primero en el sistema de archivos local?
Estamos almacenando archivos zip, que contienen archivos XML, en HDFS. Necesitamos poder descomprimir programáticamente el archivo y transmitir los archivos XML contenidos, utilizando Java. FileSystem.open devuelve un FSDataInputStream pero los ...
Modo pseudo-distribuido de Hadoop: no se inicia Datanode y tasktracker
Estoy ejecutando una distribución de la versión 6.4 (Santiago) de Red Hat Enterprise Linux Server con Hadoop 1.1.2 instalado. He realizado las configuracione...
¿Cómo configuro un objeto como el valor para la salida del mapa en Hadoop MapReduce?
En el Hadoop MapReduce, para la Salida intermedia (generada por el mapa ()), quiero que el Valor para la Salida Intermedia sea el siguiente objeto.
permisos de archivos de usuario hadoop
Tengo un problema al configurar los permisos de archivos hadoop en hortonworks y cloudera. Mi requerimiento es: 1. create a new user with new group 2. create user directory in hdfs ( ex. /user/myuser ) 3. Now this folder ( in this case ...
NameNode HA cuando se usan hdfs: // URI
Con el esquema UFS HDFS o HFTP (p. Ej.hdfs://namenode/path/to/file) Puedo acceder a los clústeres HDFS sin requerir sus archivos de configuración XML. Es muy útil cuando se ejecutan comandos de shell comohdfs dfs -get, hadoop distcp o leer ...
¿Cómo insisto en HDFS con chispa?
Tengo datos particionados en el HDFS. En algún momento decido actualizarlo. El algoritmo es: Lee los nuevos datos de un tema kafka. Encuentre nuevos nombres de partición de datos. Cargue los datos de las particiones con estos nombres que se ...
nodo de datos hdfs desconectado de namenode
De vez en cuando recibo los siguientes errores en el administrador de cloudera: This DataNode is not connected to one or more of its NameNode(s).y The Cloudera Manager agent got an unexpected response from this role's web server.(generalmente ...
Hadoop: ¿cómo acceder a (muchas) imágenes de fotos para ser procesadas por mapa / reducir?
Tengo más de 10 millones de fotos guardadas en el sistema de archivos local. Ahora quiero revisar cada uno de ellos para analizar el binario de la foto y ver si es un perro. Básicamente quiero hacer el análisis en un entorno hadoop agrupado. El ...
Colmena Crear múltiples archivos pequeños para cada inserción en HDFS
lo siguiente ya se ha logrado Kafka Producer extrae datos de Twitter usando Spark Streaming.Kafka Consumer ingiere datos en la tabla externa de Hive (en HDFS).mientras esto funciona bien hasta ahora. Solo estoy enfrentando un problema, mientras ...