La definición dice:

RDD es una colección distribuida inmutable de objetos

No entiendo muy bien qué significa. ¿Es como los datos (objetos particionados) almacenados en el disco duro? Si es así, ¿cómo es que los RDD pueden tener clases definidas por el usuario (como java, scala o python)?

Desde este enlace:https://www.safaribooksonline.com/library/view/learning-spark/9781449359034/ch03.html Menciona:

Los usuarios crean RDD de dos maneras: cargando un conjunto de datos externo o distribuyendo una colección de objetos (por ejemplo, una lista o conjunto) en su programa de controlador

Estoy realmente confundido entendiendo RDD en general y en relación con la chispa y el hadoop.

Puede ayudarme alguien, por favor.