Результаты поиска по запросу "mapreduce"
Hadoop FileSystem закрытое исключение при выполнении BufferedReader.close ()
Из метода настройки Reduce, я пытаюсь закрытьBufferedReader возражать и получатьFileSystem закрытое исключение. Это не происходит все время. Это кусок кода, который я использовал для созданияBufferedReader. String fileName = <some HDFS file ...
Hadoop: предоставить каталог в качестве входных данных для задания MapReduce
Я использую Cloudera Hadoop. Я могу запустить простую программу mapreduce, где я предоставляю файл в качестве входных данных для программы MapReduce. Этот файл содержит все остальные файлы, которые будут обработаны функцией mapper. Но я застрял ...
YarnException: неавторизованный запрос на запуск контейнера
Я настроил hadoop2.2.0 на 3 кластера. Все идет хорошо. NodeManager и Datanode запускаются в каждом кластере. Но, когда я запускаю пример wordcount, происходит 100% -ое сопоставление, и оно дает следующее исключение: map 100% reduce 0% 13/11/28 ...
Jad-файлы Hadoop 2.0
Я получаю неожиданную ошибку при попытке создать экземплярConfiguration объект в моей программе Map / Reduce. Ошибка заключается в следующем: java.lang.NoClassDefFoundError: org / apache / commons / logging / LogFactory Я использую Hadoop ...
Hadoop Map Reduce For Google веб-график
В качестве задания нам была дана задача создания функций уменьшения карты, которые будут выводить для каждого узла n в списке веб-графиков Google список узлов, которые можно перейти с узла n за 3 прыжка. (Фактические данные можно найти ...
org.apache.hadoop.mapreduce.counters.LimitExceededException: слишком много счетчиков: 121 max = 120
Я запускаю задание hadoop (из oozie), в котором мало счетчиков и много выходов. Я получаю сообщение об ошибке: org.apache.hadoop.mapreduce.counters.LimitExceededException: слишком много счетчиков: 121 max = 120 Затем я удалил весь код со ...
Ошибка в Hadoop MapReduce
Когда я запускаю программу mapreduce с использованием Hadoop, я получаю следующую ошибку. 10/01/18 10:52:48 INFO mapred.JobClient: Task Id : attempt_201001181020_0002_m_000014_0, Status : FAILED java.io.IOException: Task process exit with ...
как использовать mapreduce в под-документе запроса mongoose / mongodb?
Я реализовал простую систему сообщений в mongoose / mongodb, схема выглядит следующим образом var schema = new mongoose.Schema({ user: {type:String, required:true}, updated: {type:Date, default:new Date()}, msgs: [ {m:String, // message itself ...
Контейнер работает за пределами памяти
В Hadoop v1 я назначил каждый 7 слотов картографа и редуктора размером 1 ГБ, мои картпрессоры и редукторы работают нормально. У моей машины 8G памяти, 8 процессоров. Теперь с YARN, когда я запускаю одно и то же приложение на той же машине, я ...
Запустить задание Hadoop без использования JobConf
Я не могу найти ни одного примера отправки задания Hadoop, в котором не используется устаревшееJobConf класс.JobClient, который не устарел, все еще поддерживает только методы, которые принимаютJobConf параметр. Может кто-нибудь, пожалуйста, ...