Использовать Spark для отображения всех файлов в каталоге Hadoop HDFS?
Я хочу просмотреть все текстовые файлы в каталоге Hadoop и посчитать все вхождения слова «ошибка». Есть ли способ сделатьhadoop fs -ls /users/ubuntu/
перечислить все файлы в каталоге с API Apache Spark Scala?
Из данногопервый примерконтекст spark, похоже, получает доступ к файлам индивидуально только через что-то вроде:
val file = spark.textFile("hdfs://target_load_file.txt")
В моей задаче я заранее не знаю, сколько ни имен файлов в папке HDFS. Посмотрел надокументы по контексту искры но не смог найти такую функциональность.