Spark Scala listet Ordner im Verzeichnis @ a
Ich möchte alle Ordner in einem HDFS-Verzeichnis mit Scala / Spark auflisten. In Hadoop kann ich dies mit dem Befehl tun:hadoop fs -ls hdfs://sandbox.hortonworks.com/demo/
Ich habe es versucht mit:
val conf = new Configuration()
val fs = FileSystem.get(new URI("hdfs://sandbox.hortonworks.com/"), conf)
val path = new Path("hdfs://sandbox.hortonworks.com/demo/")
val files = fs.listFiles(path, false)
Aber es scheint nicht, dass er im Hadoop-Verzeichnis nachschaut, da ich meine Ordner / Dateien nicht finden kann.
Ich habe es auch versucht mit:
FileSystem.get(sc.hadoopConfiguration).listFiles(new Path("hdfs://sandbox.hortonworks.com/demo/"), true)
Aber das hilft auch nicht.
Hast du noch eine Idee?
PS: Ich habe auch diesen Thread überprüft:Spark iteriert das HDFS-Verzeichnis aber es funktioniert bei mir nicht, da es nicht im hdfs-Verzeichnis zu suchen scheint, sondern nur im lokalen Dateisystem mit der Schemadatei //