Ich möchte alle Ordner in einem HDFS-Verzeichnis mit Scala / Spark auflisten. In Hadoop kann ich dies mit dem Befehl tun:hadoop fs -ls hdfs://sandbox.hortonworks.com/demo/

Ich habe es versucht mit:

val conf = new Configuration()
val fs = FileSystem.get(new URI("hdfs://sandbox.hortonworks.com/"), conf)

val path = new Path("hdfs://sandbox.hortonworks.com/demo/")

val files = fs.listFiles(path, false)

Aber es scheint nicht, dass er im Hadoop-Verzeichnis nachschaut, da ich meine Ordner / Dateien nicht finden kann.

Ich habe es auch versucht mit:

FileSystem.get(sc.hadoopConfiguration).listFiles(new Path("hdfs://sandbox.hortonworks.com/demo/"), true)

Aber das hilft auch nicht.

Hast du noch eine Idee?

PS: Ich habe auch diesen Thread überprüft:Spark iteriert das HDFS-Verzeichnis aber es funktioniert bei mir nicht, da es nicht im hdfs-Verzeichnis zu suchen scheint, sondern nur im lokalen Dateisystem mit der Schemadatei //