Результаты поиска по запросу "hadoop"
Для тех из нас, кто не использует CDH, как мы можем это получить?
ли способ удалить файлы старше 10 дней на HDFS?В Linux я бы использовал:
Время последней модификации Hadoop dir / file
Есть ли способ получить последние измененные времена всех директорий и файлов в формате hdf? Я хочу создать страницу, которая отображает информацию, но я понятия не имею, как получить последний раз мод все в одном файле .txt.
Чтение файла как отдельной записи в hadoop
У меня огромное нет. из небольших файлов, я хочу использовать CombineFileInputFormat для объединения файлов таким образом, чтобы данные каждого файла были представлены как одна запись в моей работе MR. Я ...
Собственный накопитель строк был очень полезен для выявления поврежденных входных файлов.
ли читать pdf / аудио / видео файлы (неструктурированные данные) с помощью Apache Spark? Например, у меня есть тысячи счетов в формате PDF, и я хочу прочитать данные из них и провести некоторую аналитику по этому вопросу. Какие шаги я должен ...
Полная команда выглядит так:
о руководствоЯ успешно выполнил пример упражнения. Но при выполнении задания mapreduce я получаю следующую ошибкуОшибка из файла журнала
Несколько выходных файлов для потоковой передачи Hadoop с помощью Python Mapper
Я ищу небольшое разъяснение ответов на этот вопрос здесь: Генерация отдельных выходных файлов в Hadoop Streaming [https://stackoverflow.com/questions/1626786/generating-separate-output-files-in-hadoop-streaming] Мой вариант использования ...
команда hadoop fs -put
Я создал одноузловую среду Hadoop на CentOS с использованием хранилища Cloudera CDH. Когда я хочу скопировать локальный файл в HDFS, я использовал команду: sudo -u hdfs hadoop fs -put /root/MyHadoop/file1.txt /Но результат меня расстроил: put: ...