Lista de pastas do Spark Scala no diretório
Quero listar todas as pastas em um diretório hdfs usando o Scala / Spark. No Hadoop, posso fazer isso usando o comando:hadoop fs -ls hdfs://sandbox.hortonworks.com/demo/
Eu tentei com:
val conf = new Configuration()
val fs = FileSystem.get(new URI("hdfs://sandbox.hortonworks.com/"), conf)
val path = new Path("hdfs://sandbox.hortonworks.com/demo/")
val files = fs.listFiles(path, false)
Mas não parece que ele procure no diretório Hadoop, pois não consigo encontrar minhas pastas / arquivos.
Eu também tentei com:
FileSystem.get(sc.hadoopConfiguration).listFiles(new Path("hdfs://sandbox.hortonworks.com/demo/"), true)
Mas isso também não ajuda.
Você tem alguma outra ideia?
PS: Eu também verifiquei este tópico:Diretório HDFS iterado do Spark mas não funciona para mim, pois não parece pesquisar no diretório hdfs, mas apenas no sistema de arquivos local com o arquivo de esquema //.