Das dynamische Lesen von Dateien aus HDFS in Funkentransformationsfunktionen
Wie kann eine Datei aus HDFS in einer Spark-Funktion gelesen werden, die sparkContext nicht innerhalb der Funktion verwendet?
Beispiel
val filedata_rdd = rdd.map { x => ReadFromHDFS(x.getFilePath) }
Frage: Wie kann ReadFromHDFS implementiert werden? Normalerweise können wir zum Lesen von HDFS eine sc.textFile ausführen, aber in diesem Fall kann sc nicht in der Funktion verwendet werden.