Spark Scala список папок в каталоге
Я хочу перечислить все папки в каталоге hdfs, используя Scala / Spark. В Hadoop я могу сделать это с помощью команды:hadoop fs -ls hdfs://sandbox.hortonworks.com/demo/
Я попробовал это с:
val conf = new Configuration()
val fs = FileSystem.get(new URI("hdfs://sandbox.hortonworks.com/"), conf)
val path = new Path("hdfs://sandbox.hortonworks.com/demo/")
val files = fs.listFiles(path, false)
Но не похоже, что он смотрит в каталог Hadoop, так как я не могу найти свои папки / файлы.
Я также попробовал с:
FileSystem.get(sc.hadoopConfiguration).listFiles(new Path("hdfs://sandbox.hortonworks.com/demo/"), true)
Но это тоже не помогает.
У тебя есть другая идея?
PS: я тоже проверил эту ветку:Spark итерировать каталог HDFS но он не работает для меня, так как он не ищет в каталоге hdfs, а только в локальной файловой системе с файлом схемы //.