Результаты поиска по запросу "elastic-map-reduce"
Как установить точное максимальное число одновременно выполняемых задач на узел в Hadoop 2.4.0 на Elastic MapReduce
В соответствии сhttp://blog.cloudera.com/blog/2014/04/apache-hadoop-yarn-avoiding-6-time-consuming-gotchas/формула для определения количества одновременно за...
DynamoDB InputFormat для Hadoop
Я должен обработать некоторые данные, которые сохраняются в Amazon Dynamo DB, используя Hadoop Map Reduce.Я искал в интернете Hadoop InputFormat для DB Dynam...
Слишком много открытых файлов в EMR
Я получаю следующие исключения в моих редукторах:
Сбой сокращения из-за попытки задания не удалось сообщить о состоянии в течение 600 секунд. Убивать! Решение?
Этап сокращения задания завершается неудачно с: Не удалось уменьшить задачи превысил допустимый предел.Причина, по которой каждая задача терпит неудачу: Задаче попытки_201301251556_1637_r_000005_0 не удалось сообщить о состоянии в течение 600 ...
Получение «Нет места на устройстве» в течение ок. 10 ГБ данных по экземплярам EMR m1.large
Я получаю ошибкуНе осталось свободного места на устройстве" когда я запускаю свои задания Amazon EMR, используя m1.large в качестве типа экземпляра для ...
Ошибка: java.io.IOException: неправильное значение класса: класс org.apache.hadoop.io.Text не является классом Myclass
У меня есть мой картер и редукторы следующим образом. Но я получаю какое-то странное исключение. Я не могу понять, почему это вызывает такое исключение. public static class MyMapper implements Mapper<LongWritable, Text, Text, Info> { @Override ...
Слишком много открытых файлов в EMR
Я получаю следующие исключения в моих редукторах: EMFILE: Too many open files at org.apache.hadoop.io.nativeio.NativeIO.open(Native Method) at org.apache.hadoop.io.SecureIOUtils.createForWrite(SecureIOUtils.java:161) ...
Почему Yarn на EMR не выделяет все узлы для выполнения заданий Spark?
Я работаю над Apache Spark на Amazon Elastic Map Reduce (EMR). В настоящее время я работаю на emr-4.1.0, который включает Amazon Hadoop 2.6.0 и Spark 1.5.0.К...
Получение данных в и из Elastic MapReduce HDFS
Я написал программу Hadoop, которая требует определенной компоновки в HDFS, а затем мне нужно извлечь файлы из HDFS. Он работает на моей установке Hadoop с одним узлом, и мне не терпится заставить его работать с 10-ю узлами в ...
Страница 1 из 2