Resultados de la búsqueda a petición "hdfs"

2 la respuesta

chispa + localidad de datos hadoop

Obtuve un RDD de nombres de archivo, así que un RDD [String]. Lo consigo paralelizando una lista de nombres de archivo (de archivos dentro de hdfs). Ahora mapeo este rdd y mi código abre una secuencia de hadoop usando FileSystem.open (ruta). ...

1 la respuesta

Cloudera 5.4.2: el tamaño del bloque Avro no es válido o es demasiado grande cuando se usa Flume y la transmisión de Twitter

Hay un pequeño problema cuando intento Cloudera 5.4.2. Base en este artículo Apache Flume - Obteniendo datos de ...

1 la respuesta

¿Falta el personaje de nueva línea?

Copié un archivo de HDFS en mi sistema de archivos local (todo en RH Linux). Sin embargo, después de la copia, si yocat el archivo, veo lo siguiente: [me@ac12 ~]$ cat file_copy 0|name|string 1|phone|string 2|age|string[me@ac12 ~]$ Lo que ...

2 la respuesta

Leer archivos de texto completos desde una compresión en Spark

Tengo el siguiente problema: suponga que tengo un directorio que contiene directorios comprimidos que contienen múltiples archivos, almacenados en HDFS. Quiero crear un RDD que consista en algunos objetos de tipo T, es decir: context = new ...

1 la respuesta

No se puede conectar a HDFS usando el paso PDI

He configurado con éxitoHadoop 2.4en unUbuntu 14.04 VMa partir de unaWindows 8 sistema. La instalación de Hadoop funciona absolutamente bien y también puedo ver el Namenode desde mi navegador de Windows. Imagen adjunta a ...

1 la respuesta

Eclipse Hadoop plugin issue (Call to localhost / 127.0.0.1: 50070) ¿Puede algún organismo darme la solución para esto?

Problema: problema del complemento Hadoop de Eclipse (la llamada a localhost / 127.0.0.1: 50070 falló en la excepción local: java.io.EOFException). ¿Puede al...

9 la respuesta

Cómo enumerar todos los archivos en un directorio y sus subdirectorios en hadoop hdfs

5 la respuesta

Diferencia entre HBase y Hadoop / HDFS

Esta es una pregunta ingenua, pero soy nuevo en el paradigma NoSQL y no sé mucho al respecto. Entonces, si alguien puede ayudarme a entender claramente la di...

1 la respuesta

Ejecutar hadoop en Mac OS

Intento configurar para ejecutar Hadoop en Mac OS conbrew. Los pasos dados se proporcionan a continuación, Instalar en pchadoop con el comando,$brew install hadoop Dentro de la carpetausr/local/Cellar/hadoop/3.1.0/libexec/etc/hadoop y agregó ...

1 la respuesta

Error de formato de HDen namenood "No se pudo encontrar la clase principal: namenood". Código adjunto