Результаты поиска по запросу "mapreduce"
Слишком много открытых файлов в EMR
Я получаю следующие исключения в моих редукторах: EMFILE: Too many open files at org.apache.hadoop.io.nativeio.NativeIO.open(Native Method) at org.apache.hadoop.io.SecureIOUtils.createForWrite(SecureIOUtils.java:161) ...
Какую дополнительную выгоду приносит пряжа для существующей карты?
Пряжа отличается по своему инфраструктурному слою от оригинальной карты уменьшения архитектуры следующим образом: В YARN трекер заданий разделен на два разных демона, называемыхResource Manager а такжеNode Manager (конкретный узел). Диспетчер ...
DynamoDB InputFormat для Hadoop
Я должен обработать некоторые данные, которые сохраняются в Amazon Dynamo DB, используя Hadoop Map Reduce. Я искал в интернете Hadoop InputFormat для DB Dynamo и не смог его найти. Я не знаком с Dynamo DB, поэтому я предполагаю, что есть ...
Переопределить mapreduce.fileoutputcommitter.marksuccessfuljobs hadoop в oozie
<property> <name>mapreduce.fileoutputcommitter.marksuccessfuljobs</name> <value>false</value> </property>Я хочу переопределить указанное выше свойство на true. Это свойство должно быть ложным для остальных заданий в кластере, но мне нужно, чтобы ...
Как указать разделитель для потоковой передачи hadoop
У меня есть пользовательский разделитель, как показано ниже: import java.util.*; import org.apache.hadoop.mapreduce.*; public static class SignaturePartitioner extends Partitioner<Text,Text> { @Override public int getPartition(Text key,Text ...
Настройка параметра в конфигурации задания MapReduce
Есть ли способ установить параметр в конфигурации задания изMapper и доступен изReducer. Я попробовал приведенный ниже код В Mapper:map(..) : context.getConfiguration().set("Sum","100"); В редукторе:reduce(..) : ...
Результаты MapReduce кажутся ограниченными до 100?
Я играю с Map Reduce в MongoDB и python и столкнулся со странным ограничением. Я просто пытаюсь посчитать количество "книжных" записей. Он работает, когда существует менее 100 записей, но когда он превышает 100 записей, счетчик сбрасывается по ...
Как излучать в тесном методе Редуктор
close метод, унаследованный отMapReduceBase не имеет аргументов: public void close()Так что у меня нетOutputCollector какreduce метод делает: void reduce(K2 key, Iterator<V2> values, OutputCollector<K3, V3> output, Reporter reporter)В новом API ...
Запрос в MongoDB Map Reduce Function
Я отправил и сохранил около 250 тыс. Твитов в MongoDB, и здесь, как вы можете видеть, я извлекаю их, основываясь на слове или ключевом слове, представленном в твите. Mongo mongo = new Mongo("localhost", 27017); DB db = ...
PIG UDF обрабатывает многослойный кортеж, разбитый на разные мапперы
У меня есть файл, где каждый кортеж занимает несколько строк, например: START name: Jim phone: 2128789283 address: 56 2nd street, New York, USA END START name: Tom phone: 6308789283 address: 56 5th street, Chicago, 13611, USA END . . .Итак, выше ...