Necesito procesar múltiples archivos dispersos en varios directorios. Me gustaría cargar todo esto en un solo RDD y luego realizar un mapa / reducirlo. Veo que SparkContext es capaz de cargar múltiples archivos desde un solo directorio usando comodines. No estoy seguro de cómo cargar archivos de varias carpetas.

El siguiente fragmento de código falla:

for fileEntry in files:
    fileName = basePath + "/" + fileEntry
    lines = sc.textFile(fileName)
    if retval == None:
        retval = lines
    else:
        retval = sc.union(retval, lines)

Esto falla en el tercer bucle con el siguiente mensaje de error:

retval = sc.union(retval, lines)
TypeError: union() takes exactly 2 arguments (3 given)

Lo cual es extraño dado que solo proporciono 2 argumentos. Cualquier puntero apreciado.