Результаты поиска по запросу "hadoop"
Hadoop Map Уменьшить опорные статические объекты
У меня есть статический объект на карте, уменьшающий класс задания, который я хочу инициализировать один раз (в основном методе), а затем вызывать для него функцию в каждом отображении. Итак, у меня есть объект MyObject, который я объявляю как ...
Слишком много открытых файлов в EMR
Я получаю следующие исключения в моих редукторах: EMFILE: Too many open files at org.apache.hadoop.io.nativeio.NativeIO.open(Native Method) at org.apache.hadoop.io.SecureIOUtils.createForWrite(SecureIOUtils.java:161) ...
Какую дополнительную выгоду приносит пряжа для существующей карты?
Пряжа отличается по своему инфраструктурному слою от оригинальной карты уменьшения архитектуры следующим образом: В YARN трекер заданий разделен на два разных демона, называемыхResource Manager а такжеNode Manager (конкретный узел). Диспетчер ...
Переопределить mapreduce.fileoutputcommitter.marksuccessfuljobs hadoop в oozie
<property> <name>mapreduce.fileoutputcommitter.marksuccessfuljobs</name> <value>false</value> </property>Я хочу переопределить указанное выше свойство на true. Это свойство должно быть ложным для остальных заданий в кластере, но мне нужно, чтобы ...
DynamoDB InputFormat для Hadoop
Я должен обработать некоторые данные, которые сохраняются в Amazon Dynamo DB, используя Hadoop Map Reduce. Я искал в интернете Hadoop InputFormat для DB Dynamo и не смог его найти. Я не знаком с Dynamo DB, поэтому я предполагаю, что есть ...
HBase как серверная часть веб-приложения
Кто-нибудь может посоветовать, если это хорошая идея, чтобы HBase в качестве основного источника данных для веб-приложений? Моя главная задача - время ответа HBase на запросы. Можно ли получить ответ в секунду? редактировать: более подробную ...
Как указать разделитель для потоковой передачи hadoop
У меня есть пользовательский разделитель, как показано ниже: import java.util.*; import org.apache.hadoop.mapreduce.*; public static class SignaturePartitioner extends Partitioner<Text,Text> { @Override public int getPartition(Text key,Text ...
Настройка параметра в конфигурации задания MapReduce
Есть ли способ установить параметр в конфигурации задания изMapper и доступен изReducer. Я попробовал приведенный ниже код В Mapper:map(..) : context.getConfiguration().set("Sum","100"); В редукторе:reduce(..) : ...
как отсортировать численно в фазе перемешивания / сортировки hadoop?
Данные выглядят так: первое поле - это число, 3 ... 1 ... 2 ... 11 ...И я хочу отсортировать эти строки по первому полю по номерам, а не по алфавиту, что означает, что после сортировки это должно выглядеть так: 1 ... 2 ... 3 ... 11 ...Но Hadoop ...
Потребление памяти у naadode hadoop?
Может кто-нибудь дать подробный анализ потребления памяти наменоде? Или есть какой-то справочный материал? Не могу найти материал в сети. Спасибо!