Как можно перечислить все CSV-файлы в папке HDFS в оболочке Spark Scala?

Цель этого состоит в том, чтобы манипулировать и сохранять копию каждого файла данных во втором местоположении в HDFS. Я буду использовать

Доступ к HDFS HA ​​из искрового задания (ошибка UnknownHostException)

Как работает процесс отработки отказа Hadoop Namenode?

Полное руководство Hadoop гласит:Каждый Наменод бежит легкий процесс отработки отказа контроллера, работа которого этоследить за своим наменоде на предмет сб...

Почему Dockerized Hadoop datanode регистрируется с неправильным IP-адресом?

У меня есть отдельные изображения Docker (1.9.1) для наменодов и датододов Hadoop (2.7.1). Я могу создавать контейнеры из них и передавать их через пользоват...

Корневая директория: / tmp / hive на HDFS должна быть доступна для записи. Текущие разрешения: rw-rw-rw- (в Windows)

Когда файлы «разделяемые»?

может быть реплицировано только на 0 узлов вместо minReplication (= 1). Работает 4 datanode (s) и ни один узел (ы) не исключен в этой операции

Я не знаю, как исправить эту ошибку:

Как установить размер блока данных в Hadoop? Это преимущество, чтобы изменить это?

Если мы можем изменить размер блока данных в Hadoop, пожалуйста, дайте мне знать, как это сделать. Выгодно ли менять размер блока? Если да, то дайте мне знат...

Как распаковать файлы .gz в новый каталог в hadoop?

У меня есть куча файлов .gz в папке в формате hdfs. Я хочу распаковать все эти файлы .gz в новую папку в формате hdf. Как мне это сделать?

Количество редукторов по умолчанию

В Hadoop, если мы не установили количество редукторов, сколько будет создано число редукторов?Как число картографов зависит от(общий размер данных) / (входно...