Rastreo web distribuido con Apache Spark: ¿es posible?

Me hicieron una pregunta interesante cuando asistí a una entrevista sobre minería web. La pregunta era, ¿es posible rastrear los sitios web usando Apache Spark?

Supuse que era posible, porque admite la capacidad de procesamiento distribuido de Spark. Después de la entrevista busqué esto, pero no pude encontrar ninguna respuesta interesante. ¿Es eso posible con Spark?

Respuestas a la pregunta(5)

Su respuesta a la pregunta