Soporte para gzip en Spark

Para un proyecto de Big Data, estoy planeando usarchispa, que tiene algunas características interesantes, como cálculos en memoria para cargas de trabajo rep...

¿IPython.parallel no usa multinúcleo?

Estoy experimentando con

¿Cómo ordenar los datos en el mapa reducir hadoop?

¿Cómo encontrar el ID de trabajo de un trabajo de hadoop en código?

Ejecución de un trabajo utilizando hadoop streaming y mrjob: PipeMapRed.waitOutputThreads (): el subproceso falló con el código 1

Leyendo HDFS y archivos locales en Java

Quiero leer las rutas de los archivos independientemente de si son HDFS o locales. Actualmente, paso las rutas locales con el archivo de prefijo: // y las ru...

No se ha encontrado la clase de asignador.

A veces mi trabajo de MR se queja de que no se encuentra la clase MyMapper. Y eso tengo que dar job.setJarByClass (MyMapper.class); Para decirle que lo cargu...

Hadoop MapReduce clasifica la salida con la tecla

Abajo hay un programa de reducción de mapa que cuenta palabras de varios archivos de texto. Mi objetivo es tener el resultado en un orden descendente con res...

Configuración de Spark: SPARK_MEM vs. SPARK_WORKER_MEMORY

En spark-env.sh, es posible configurar las siguientes variables de entorno:

¿Cuál es la razón para tener clases de contenedor de escritura en Hadoop MapReduce para tipos de Java?

Me parece que un