Resultados de la búsqueda a petición "hdfs"
Cómo ingresar el archivo HDFS en R mapreduce para el procesamiento y obtener el resultado en el archivo HDFS
Tengo una pregunta similar al siguiente enlace en stackoverflow R + Hadoop: ¿Cómo leer un archivo CSV de HDFS y ejecutar ...
El comando "hadoop fs -ls" no funciona.
Creo que he instalado hadoop correctamente. Si lo hagojps Puedo ver el namenode y datanode, no hay problema. Cuando escribohadoop fs -ls . Me sale el error: Java HotSpot(TM) 64-Bit Server VM warning: You have loaded ...
Analizar CSV como DataFrame / DataSet con Apache Spark y Java
Soy nuevo en spark, y quiero usar group-by & reduce para encontrar lo siguiente de CSV (una línea por empleado): Department, Designation, costToCompany, State Sales, Trainee, 12000, UP Sales, Lead, 32000, AP Sales, Lead, 32000, LA Sales, Lead, ...
leer todos los archivos de HDFS de forma recursiva en spark java api
Estoy usando spark para leer datos de todos los archivos de HDFS en un único RDD desde un directorio y también sus subdirectorios. No pude encontrar ningún método eficiente para hacer eso. Así que intenté escribir un código personalizado como se ...
Operación de escritura Hadoop HDFS mediante programación
Hice una pregunta similar hace un tiempo, pero luego no tenía idea de lo que estaba hablando. Estoy publicando esta pregunta con más detalles y consultas puntuales. Así que configuré el clúster hadoop con namenode y 2 datanodes. Estoy ...
Cómo guardar un archivo en el clúster
Estoy conectado al clúster usandossh y envío el programa al clúster usando spark-submit --master yarn myProgram.pyQuiero guardar el resultado en un archivo de texto e intenté usar las siguientes ...
Hay 0 datanode (s) en ejecución y no se excluyen ningún nodo (s) en esta operación
He configurado un clúster Hadoop de múltiples nodos. NameNode y Secondary namenode se ejecutan en la misma máquina y el clúster solo tiene un Datanode. Todos los nodos están configurados en máquinas Amazon EC2. Los siguientes son los archivos de ...
Acceder a un archivo que se está escribiendo
You use the hadoop fs –put command to write a 300 MB file using and HDFS block size of 64 MB. Just after this command has finished writing 200 MB of this file, what would another user see when trying to access this file? a.) They would see Hadoop ...
Cargar matriz JSON en Pig
Tengo un archivo json con el siguiente formato [ { "id": 2, "createdBy": 0, "status": 0, "utcTime": "Oct 14, 2014 4:49:47 PM", "placeName": "21/F, Cunningham Main Rd, Sampangi Rama NagarBengaluruKarnatakaIndia", "longitude": 77.5983817, ...
Abrir un archivo almacenado en HDFS para editar en VI
Me gustaría editar un archivo de texto directamente en HDFS usando VI sin tener que copiarlo a local, editarlo y luego copiarlo desde local. es posible? Editar: Esto solía ser posible en la interfaz de usuario Hue de Cloudera, pero ya no es el caso.