Использовать Spark для отображения всех файлов в каталоге Hadoop HDFS?

Я хочу просмотреть все текстовые файлы в каталоге Hadoop и посчитать все вхождения слова «ошибка». Есть ли способ сделатьhadoop fs -ls /users/ubuntu/ перечислить все файлы в каталоге с API Apache Spark Scala?

Из данногопервый примерконтекст spark, похоже, получает доступ к файлам индивидуально только через что-то вроде:

val file = spark.textFile("hdfs://target_load_file.txt")

В моей задаче я заранее не знаю, сколько ни имен файлов в папке HDFS. Посмотрел надокументы по контексту искры но не смог найти такую ​​функциональность.

Ответы на вопрос(2)

Ваш ответ на вопрос