Leer archivos dinámicamente desde HDFS desde las funciones de transformación de chispa
¿Cómo se puede leer un archivo de HDFS en una función spark que no utiliza sparkContext dentro de la función?
Ejemplo:
val filedata_rdd = rdd.map { x => ReadFromHDFS(x.getFilePath) }
La pregunta es cómo se puede implementar ReadFromHDFS. Por lo general, para leer desde HDFS podríamos hacer un sc.textFile, pero en este caso sc no se puede usar en la función.