Результаты поиска по запросу "mapreduce"
как предотвратить сбой задания hadoop на поврежденном входном файле
Я выполняю задание hadoop на многих входных файлах. Но если один из файлов поврежден, вся работа не выполняется. Как я могу сделать работу, чтобы игнорировать поврежденный файл? возможно напишите мне какой-нибудь счетчик / журнал ошибок, ноне ...
Альтернатива MultipleTextOutputFormat в новом API
Как видно, MultipleTextOutputFormat не были перенесены в новый API. Итак, если нам нужно выбрать выходной каталог и выходное fiename на основе значения ключа, записываемого на лету, то какая у нас альтернатива с новым mapreduce API?
Выполнение спекулятивной задачи Hadoop
В статье Google MapReduce у них есть задача резервного копирования, я думаю, это то же самое, что и спекулятивная задача в Hadoop. Как реализована спекулятивная задача? Когда я запускаю умозрительное задание, оно начинается с самого начала, как ...
MRUnit с Avro NullPointerException в сериализации
Я пытаюсь протестировать работу Hadoop .mapreduce Avro с помощью MRUnit. Я получаю исключение NullPointerException, как показано ниже. Я приложил часть кода и исходного кода. Любая помощь будет оценена. Спасибо Я получаю ...
Сбой сокращения из-за попытки задания не удалось сообщить о состоянии в течение 600 секунд. Убивать! Решение?
Этап сокращения задания завершается неудачно с: Не удалось уменьшить задачи превысил допустимый предел.Причина, по которой каждая задача терпит неудачу: Задаче попытки_201301251556_1637_r_000005_0 не удалось сообщить о состоянии в течение 600 ...
Каковы некоторые сценарии, для которых MPI лучше подходит, чем MapReduce?
Насколько я понимаю, MPI дает мне гораздо больше контроля над тем, как именно будут взаимодействовать разные узлы в кластере. В MapReduce / Hadoop каждый узел выполняет некоторые вычисления, обменивается данными с другими узлами, а затем ...
Исключение контрольной суммы при чтении или копировании в hdfs в apache hadoop
Я пытаюсь реализовать распараллеленный алгоритм, используя Apache Hadoop, однако я сталкиваюсь с некоторыми проблемами при попытке передачи файла из локальной файловой системы в hdfs.исключение контрольной суммывыбрасывается при попытке чтения ...
Смещение байта потокового преобразователя Hadoop не генерируется
Я запускаю потоковое задание Hadoop, и смещения байтов не генерируются как выходные данные (ключи) преобразователя, как я и ожидал. Команда: $HADOOP_INSTALL/bin/hadoop \ jar $HADOOP_INSTALL/contrib/streaming/hadoop-streaming-$HADOOP_VERSION.jar ...
java.sql.SQLException: не удалось запустить ошибку базы данных metastore_db при инициализации базы данных с помощью куста
Я установил Hadoop и Hive на 3 кластера. Я могу войти в улей из моего кластерного узла, где работает HIVE. root @ NODE_3 hive] # hive Журнал инициализируется с использованием конфигурации в jar: file: ...
Вывод списка из Hadoop Map Reduce, используя настраиваемые записи
Я пытаюсь создать простую работу по сокращению карты, изменяя пример подсчета слов, заданный hadoop. Я пытаюсь поставить список вместо подсчета слов. Пример wordcount дает следующий вывод hello 2 world 2Я пытаюсь вывести его в виде списка, ...