Результаты поиска по запросу "hadoop"
Небольшие файлы и блоки HDFS
Хранит ли блок в распределенной файловой системе Hadoop несколько небольших файлов или блок хранит только 1 файл?
В Hadoop где фреймворк сохраняет выходные данные задачи Map в обычном приложении Map-Reduce?
Я пытаюсь выяснить, где выходные данные задачи «Карта» сохраняются на диске, прежде чем они могут быть использованы задачей «Уменьшить». Примечание:- используется версия Hadoop 0.20.204 с новым API Например, при перезаписи метода map в классе ...
Класс Hadoop JobConf устарел, нужен обновленный пример
Я пишу программы Hadoop, и я действительно не хочу играть с устаревшими классами. В любом месте онлайн я не могу найти программы с обновленными org.apache.hadoop.conf.Configuration класс, состоящий ...
DataNode не запускается в Hadoop
Я пытаюсь установить Hadoop на Ubuntu 11.04 и Java 6 sun. Я работал с hadoop 0.20.203 rc1 build. Я неоднократно сталкиваюсь с проблемой на Ubuntu 11.04 с java-6-sun. Когда я пытаюсь запустить hadoop, datanode не запускается из-за «Не удается ...
как настроить mapred.reduce.parallel.copies?
После чтения http://gbif.blogspot.com/2011/01/setting-up-hadoop-cluster-part-1-manual.html [http://gbif.blogspot.com/2011/01/setting-up-hadoop-cluster-part-1-manual.html] мы хотим поэкспериментировать с mapred.reduce.parallel.copies. В блоге ...
Как использовать форматы ввода Hadoop в Apache Spark?
У меня есть классImageInputFormat в Hadoop, который читает изображения из HDFS. Как использовать мой InputFormat в Spark? Вот мойImageInputFormat: public class ImageInputFormat extends FileInputFormat<Text, ImageWritable> { @Override public ...
Несколько файлов хранятся в одном блоке?
Когда я сохраню много маленьких файлов в HDFS, они будут храниться в одном блоке? На мой взгляд, эти небольшие файлы должны храниться в одном блоке в соответствии с этим обсуждением:Размер блока HDFS против фактического размера ...
MapReduce альтернативы
Есть ли альтернатива парадигмам MapReduce (Google, Hadoop)? Есть ли другой разумный способ, как разделить и объединить большие проблемы?
Hadoop: как получить доступ ко многим фотографиям, которые будут обработаны картой / уменьшить?
У меня есть 10M + фотографий, сохраненных в локальной файловой системе. Теперь я хочу пройтись по каждому из них, чтобы проанализировать двоичный файл фотографии, чтобы увидеть, если это собака. Я в основном хочу сделать анализ в кластерной среде ...
Hadoop: пример процесса создания файла SequenceFile с двоичными файлами изображений, которые будут обрабатываться в карте / уменьшить
СледующийHadoop: как получить доступ ко многим фотографиям, которые будут обработаны картой / уменьшить? [https://stackoverflow.com/questions/8752772/hadoop-how-to-access-many-photo-images-to-be-processed-by-map-reduce] вопрос, гдеorangeoctopus ...