Я хочу перечислить все папки в каталоге hdfs, используя Scala / Spark. В Hadoop я могу сделать это с помощью команды:hadoop fs -ls hdfs://sandbox.hortonworks.com/demo/

Я попробовал это с:

val conf = new Configuration()
val fs = FileSystem.get(new URI("hdfs://sandbox.hortonworks.com/"), conf)

val path = new Path("hdfs://sandbox.hortonworks.com/demo/")

val files = fs.listFiles(path, false)

Но не похоже, что он смотрит в каталог Hadoop, так как я не могу найти свои папки / файлы.

Я также попробовал с:

FileSystem.get(sc.hadoopConfiguration).listFiles(new Path("hdfs://sandbox.hortonworks.com/demo/"), true)

Но это тоже не помогает.

У тебя есть другая идея?

PS: я тоже проверил эту ветку:Spark итерировать каталог HDFS но он не работает для меня, так как он не ищет в каталоге hdfs, а только в локальной файловой системе с файлом схемы //.