Resultados de la búsqueda a petición "hdfs"
chispa + localidad de datos hadoop
Obtuve un RDD de nombres de archivo, así que un RDD [String]. Lo consigo paralelizando una lista de nombres de archivo (de archivos dentro de hdfs). Ahora mapeo este rdd y mi código abre una secuencia de hadoop usando FileSystem.open (ruta). ...
Cloudera 5.4.2: el tamaño del bloque Avro no es válido o es demasiado grande cuando se usa Flume y la transmisión de Twitter
Hay un pequeño problema cuando intento Cloudera 5.4.2. Base en este artículo Apache Flume - Obteniendo datos de ...
¿Falta el personaje de nueva línea?
Copié un archivo de HDFS en mi sistema de archivos local (todo en RH Linux). Sin embargo, después de la copia, si yocat el archivo, veo lo siguiente: [me@ac12 ~]$ cat file_copy 0|name|string 1|phone|string 2|age|string[me@ac12 ~]$ Lo que ...
Leer archivos de texto completos desde una compresión en Spark
Tengo el siguiente problema: suponga que tengo un directorio que contiene directorios comprimidos que contienen múltiples archivos, almacenados en HDFS. Quiero crear un RDD que consista en algunos objetos de tipo T, es decir: context = new ...
No se puede conectar a HDFS usando el paso PDI
He configurado con éxitoHadoop 2.4en unUbuntu 14.04 VMa partir de unaWindows 8 sistema. La instalación de Hadoop funciona absolutamente bien y también puedo ver el Namenode desde mi navegador de Windows. Imagen adjunta a ...
Eclipse Hadoop plugin issue (Call to localhost / 127.0.0.1: 50070) ¿Puede algún organismo darme la solución para esto?
Problema: problema del complemento Hadoop de Eclipse (la llamada a localhost / 127.0.0.1: 50070 falló en la excepción local: java.io.EOFException). ¿Puede al...
Diferencia entre HBase y Hadoop / HDFS
Esta es una pregunta ingenua, pero soy nuevo en el paradigma NoSQL y no sé mucho al respecto. Entonces, si alguien puede ayudarme a entender claramente la di...
Ejecutar hadoop en Mac OS
Intento configurar para ejecutar Hadoop en Mac OS conbrew. Los pasos dados se proporcionan a continuación, Instalar en pchadoop con el comando,$brew install hadoop Dentro de la carpetausr/local/Cellar/hadoop/3.1.0/libexec/etc/hadoop y agregó ...