В идеале, даже если это не правильный способ сделать что-то в слизи. Ваш ответ работает на стороне сценариев оболочки Linux. Спасибо за ваш ответ

 скрипт

у удалить папки разделов, которые старше N дней.Команда ниже дает папки, которые ровно 50 дней назад. Я хочу список всех папок, которые менее 50 дней

Для тех из нас, кто не использует CDH, как мы можем это получить?

ли способ удалить файлы старше 10 дней на HDFS?В Linux я бы использовал:

Время последней модификации Hadoop dir / file

Есть ли способ получить последние измененные времена всех директорий и файлов в формате hdf? Я хочу создать страницу, которая отображает информацию, но я понятия не имею, как получить последний раз мод все в одном файле .txt.

команда hadoop fs -put

Я создал одноузловую среду Hadoop на CentOS с использованием хранилища Cloudera CDH. Когда я хочу скопировать локальный файл в HDFS, я использовал команду: sudo -u hdfs hadoop fs -put /root/MyHadoop/file1.txt /Но результат меня расстроил: put: ...

issues.apache.org/jira/browse/SPARK-14922

пытаюсь удалить несколько разделов одновременно, но изо всех сил пытаюсь сделать это с помощью Impala или Hive. Я попробовал следующий запрос, с и без': ALTER TABLE cz_prd_corrti_st.s1mme_transstats_info DROP IF EXISTS ...

И если вам интересно, как JAAS загружает вашу конфигурацию (или если вам нужно отладить вашу конфигурацию, потому что синтаксические ошибки и FileNotFound не сообщаются по умолчанию):

зрабатываем веб-приложение, которое взаимодействует с такими компонентами hadoop, как HDFS, HBase и Impala. Кластер керберизован, мы аутентифицируемся с помощью конфигурации JAAS. Мы настраиваем JAAS в аргументах VM, как ...

Лично я бы просто скачал файл и поместил его в распределенное хранилище.

азвивающая среда: IntellijспециалистScala2.10.6win7 x64зависимости: <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.10 --> <dependency> ...

@ cricket_007 Поддерживает ли --files копирование папок произвольной структуры вложенности? Я не мог подтвердить это.

трю, как скопировать папку с файлами зависимостей ресурсов из HDFS в локальный рабочий каталог каждого искрового исполнителя с использованием Java. Сначала я думал об использовании опции --files FILES в spark-submit, но, похоже, она не ...

Hadoop FileSystem закрытое исключение при выполнении BufferedReader.close ()

Из метода настройки Reduce, я пытаюсь закрытьBufferedReader возражать и получатьFileSystem закрытое исключение. Это не происходит все время. Это кусок кода, который я использовал для созданияBufferedReader. String fileName = <some HDFS file ...