Quero listar todas as pastas em um diretório hdfs usando o Scala / Spark. No Hadoop, posso fazer isso usando o comando:hadoop fs -ls hdfs://sandbox.hortonworks.com/demo/

Eu tentei com:

val conf = new Configuration()
val fs = FileSystem.get(new URI("hdfs://sandbox.hortonworks.com/"), conf)

val path = new Path("hdfs://sandbox.hortonworks.com/demo/")

val files = fs.listFiles(path, false)

Mas não parece que ele procure no diretório Hadoop, pois não consigo encontrar minhas pastas / arquivos.

Eu também tentei com:

FileSystem.get(sc.hadoopConfiguration).listFiles(new Path("hdfs://sandbox.hortonworks.com/demo/"), true)

Mas isso também não ajuda.

Você tem alguma outra ideia?

PS: Eu também verifiquei este tópico:Diretório HDFS iterado do Spark mas não funciona para mim, pois não parece pesquisar no diretório hdfs, mas apenas no sistema de arquivos local com o arquivo de esquema //.