Результаты поиска по запросу "hdfs"
Коэффициент репликации HDFS
Когда я загружаю файл в HDFS, если я устанавливаю коэффициент репликации равным 1, разделение файлов будет происходить на одном компьютере, или разделение будет распределяться по нескольким компьютерам по сети? hadoop fs -D dfs.replication=1 ...
Разница между hadoop fs -put и hadoop fs -copyFromLocal
-put а также-copyFromLocal задокументированы как идентичные, в то время как в большинстве примеров используется подробный вариант -copyFromLocal. Почему? То же самое для-get а также-copyToLocal
Как HBase включает произвольный доступ к HDFS?
Учитывая, что HBase - это база данных, файлы которой хранятся в HDFS, как она обеспечивает произвольный доступ к отдельному фрагменту данных в HDFS? Каким способом это достигается? Изсправочное руководство по Apache ...
Hadoop FS поиск размера блока?
В Hadoop FS, как найти размер блока для конкретного файла? Меня прежде всего интересовала командная строка, что-то вроде: hadoop fs ... hdfs://fs1.data/...Но похоже, что этого не существует. Есть ли решение Java?
Небольшие файлы и блоки HDFS
Хранит ли блок в распределенной файловой системе Hadoop несколько небольших файлов или блок хранит только 1 файл?
Несколько файлов хранятся в одном блоке?
Когда я сохраню много маленьких файлов в HDFS, они будут храниться в одном блоке? На мой взгляд, эти небольшие файлы должны храниться в одном блоке в соответствии с этим обсуждением:Размер блока HDFS против фактического размера ...
Hadoop: пример процесса создания файла SequenceFile с двоичными файлами изображений, которые будут обрабатываться в карте / уменьшить
СледующийHadoop: как получить доступ ко многим фотографиям, которые будут обработаны картой / уменьшить? [https://stackoverflow.com/questions/8752772/hadoop-how-to-access-many-photo-images-to-be-processed-by-map-reduce] вопрос, гдеorangeoctopus ...
Hadoop: как получить доступ ко многим фотографиям, которые будут обработаны картой / уменьшить?
У меня есть 10M + фотографий, сохраненных в локальной файловой системе. Теперь я хочу пройтись по каждому из них, чтобы проанализировать двоичный файл фотографии, чтобы увидеть, если это собака. Я в основном хочу сделать анализ в кластерной среде ...
Как использовать форматы ввода Hadoop в Apache Spark?
У меня есть классImageInputFormat в Hadoop, который читает изображения из HDFS. Как использовать мой InputFormat в Spark? Вот мойImageInputFormat: public class ImageInputFormat extends FileInputFormat<Text, ImageWritable> { @Override public ...
Репликация HDFS - данные хранятся
Я относительный новичок в hadoop и хочу лучше понять, как работает репликация в HDFS. Скажем, у меня есть система из 10 узлов (1 ТБ на каждый узел), что дает мне общую емкость 10 ТБ. Если у меня коэффициент репликации 3, то у меня есть ...