Результаты поиска по запросу "hdfs"
@ cricket_007 Поддерживает ли --files копирование папок произвольной структуры вложенности? Я не мог подтвердить это.
трю, как скопировать папку с файлами зависимостей ресурсов из HDFS в локальный рабочий каталог каждого искрового исполнителя с использованием Java. Сначала я думал об использовании опции --files FILES в spark-submit, но, похоже, она не ...
Лично я бы просто скачал файл и поместил его в распределенное хранилище.
азвивающая среда: IntellijспециалистScala2.10.6win7 x64зависимости: <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.10 --> <dependency> ...
И если вам интересно, как JAAS загружает вашу конфигурацию (или если вам нужно отладить вашу конфигурацию, потому что синтаксические ошибки и FileNotFound не сообщаются по умолчанию):
зрабатываем веб-приложение, которое взаимодействует с такими компонентами hadoop, как HDFS, HBase и Impala. Кластер керберизован, мы аутентифицируемся с помощью конфигурации JAAS. Мы настраиваем JAAS в аргументах VM, как ...
issues.apache.org/jira/browse/SPARK-14922
пытаюсь удалить несколько разделов одновременно, но изо всех сил пытаюсь сделать это с помощью Impala или Hive. Я попробовал следующий запрос, с и без': ALTER TABLE cz_prd_corrti_st.s1mme_transstats_info DROP IF EXISTS ...
Для тех из нас, кто не использует CDH, как мы можем это получить?
ли способ удалить файлы старше 10 дней на HDFS?В Linux я бы использовал:
скрипт
у удалить папки разделов, которые старше N дней.Команда ниже дает папки, которые ровно 50 дней назад. Я хочу список всех папок, которые менее 50 дней