Результаты поиска по запросу "mapreduce"
Полное использование всех ядер в псевдораспределенном режиме Hadoop
Я запускаю задачу в псевдораспределенном режиме на своем 4-ядерном ноутбуке. Как я могу обеспечить эффективное использование всех ядер? В настоящее время мой трекер работы показывает, что одновременно выполняется только одна работа. Означает ли ...
Контейнер работает за пределами памяти
В Hadoop v1 я назначил каждый 7 слотов картографа и редуктора размером 1 ГБ, мои картпрессоры и редукторы работают нормально. У моей машины 8G памяти, 8 процессоров. Теперь с YARN, когда я запускаю одно и то же приложение на той же машине, я ...
Как изменить структуру карты MongoDB - уменьшить результаты?
Когда я запускаю Map-Reduce в базе данных Mongo, я обычно получаю результаты, подобные следующим: { _id: <some-id>, value: { <first-key>: <first-value>, ... } }Есть ли способ опуститьvalue: { ... } часть и непосредственно вставить ...
Как удалить дубликат записи в MongoDB с помощью MapReduce?
У меня очень большая коллекция на MongoDB, и я хочу удалить дубликат записи из этой коллекции. Первая мысль, которая приходит мне в голову - это удалить индекс и восстановить его с помощью dropDups. Однако дублированных данных слишком много для ...
Неправильный класс ключа: текст не предназначен для записи
Это может показаться глупым вопросом, но я не вижу проблемы в моих типах в коде mapreduce для hadoop Как указано в вопросе, проблема в том, что он ожидает IntWritable, но я передаю ему текстовый объект в collector.collect редуктора. Моя ...
Класс Hadoop JobConf устарел, нужен обновленный пример
Я пишу программы Hadoop, и я действительно не хочу играть с устаревшими классами. В любом месте онлайн я не могу найти программы с обновленными org.apache.hadoop.conf.Configuration класс, состоящий ...
В Hadoop где фреймворк сохраняет выходные данные задачи Map в обычном приложении Map-Reduce?
Я пытаюсь выяснить, где выходные данные задачи «Карта» сохраняются на диске, прежде чем они могут быть использованы задачей «Уменьшить». Примечание:- используется версия Hadoop 0.20.204 с новым API Например, при перезаписи метода map в классе ...
MapReduce альтернативы
Есть ли альтернатива парадигмам MapReduce (Google, Hadoop)? Есть ли другой разумный способ, как разделить и объединить большие проблемы?
Hadoop: как получить доступ ко многим фотографиям, которые будут обработаны картой / уменьшить?
У меня есть 10M + фотографий, сохраненных в локальной файловой системе. Теперь я хочу пройтись по каждому из них, чтобы проанализировать двоичный файл фотографии, чтобы увидеть, если это собака. Я в основном хочу сделать анализ в кластерной среде ...
Hadoop: пример процесса создания файла SequenceFile с двоичными файлами изображений, которые будут обрабатываться в карте / уменьшить
СледующийHadoop: как получить доступ ко многим фотографиям, которые будут обработаны картой / уменьшить? [https://stackoverflow.com/questions/8752772/hadoop-how-to-access-many-photo-images-to-be-processed-by-map-reduce] вопрос, гдеorangeoctopus ...