Das dynamische Lesen von Dateien aus HDFS in Funkentransformationsfunktionen

Wie kann eine Datei aus HDFS in einer Spark-Funktion gelesen werden, die sparkContext nicht innerhalb der Funktion verwendet?

Beispiel

val filedata_rdd = rdd.map { x => ReadFromHDFS(x.getFilePath) }

Frage: Wie kann ReadFromHDFS implementiert werden? Normalerweise können wir zum Lesen von HDFS eine sc.textFile ausführen, aber in diesem Fall kann sc nicht in der Funktion verwendet werden.

Antworten auf die Frage(2)

Ihre Antwort auf die Frage