Результаты поиска по запросу "hadoop"
проблемы с запуском простых примеров Hadoop Map-Reduce в Cygwin
Я просто пытаюсь запустить Hadoop на моем ноутбуке с 64-битной Windows 7 в автономном режиме. Я установил Cygwin 1.7 в папку по умолчанию (c: \ cygwin). У меня есть последний JDK в папке c: \ jdk1.7.0_03, и я установил переменную ...
Как сделать монолитный jar.file?
Мне нужно создать jar-файл задания hadoop, в котором используется mahout и куча других библиотек. Мне нужно, чтобы я мог запускать задание без дополнительных jar.files, чтобы все указанные классы были упакованы с результирующим файлом jar. Как ...
Amazon MapReduce лучшие практики для анализа журналов
Я анализирую журналы доступа, сгенерированные Apache, Nginx, Darwin (сервер потокового видео) и собираю статистику для каждого доставленного файла по дате / рефереру / пользователю. Тонны журналов генерируются каждый час, и это число, вероятно, ...
Вызов задания mapreduce из простой Java-программы
Я пытался вызвать задание mapreduce из простой java-программы в том же пакете. Я пытался ссылаться на jar-файл mapreduce в моей java-программе и вызывать его, используяrunJar(String args[]) метод, также передавая входные и выходные пути для ...
Самый эффективный способ создать путь в zookeeper, где корневые элементы пути могут существовать или не существовать?
Представьте себе путь "/ root / child1 / child2 / child3" Представьте в zookeeper, что, возможно, часть этого существует, скажем "/ root / child1" В zookeeper нет эквивалента «mkdir -p»; Кроме того, ZooKeeper.multi () завершится ошибкой, если ...
Как использовать код MATLAB в маппере (Hadoop)?
У меня есть код Matlab, который обрабатывает изображения. Я хочу создать картограф Hadoop, который использует этот код. Я сталкивался со следующими решениями, но не уверен, какое из них лучше (так как для меня очень сложно установить время ...
Можно ли читать данные MongoDB, обрабатывать их с помощью Hadoop и выводить их в RDBS (MySQL)?
Резюме:Это возможно: Импортируйте данные в Hadoop с помощью «MongoDB Connector for Hadoop».Обработайте его с помощью Hadoop MapReduce.Экспортируйте его с помощью Sqoop за одну транзакцию.Я строю веб-приложение с MongoDB. Хотя MongoDB ...
Как разрешить «файл может быть реплицирован только на 0 узлов, а не 1» в hadoop?
У меня есть простая работа hadoop, которая сканирует веб-сайты и кэширует их в HDFS. Картограф проверяет, существует ли URL-адрес в HDFS, и, если это так, использует его, в противном случае загружает страницу и сохраняет ее в HDFS. Если при ...
Ошибка схемы JsonLoader по умолчанию для свиньи
У меня есть данные ниже, которые должны быть проанализированы с помощью свиньи Данные { "Name": "BBQ Chicken", "Sizes": [ { "Size": "Large", "Price": 14.99 }, { "Size": "Medium", "Price": 12.99 } ], "Toppings": [ "Barbecue Sauce", ...
Задание Hadoop: задача не может сообщить о состоянии в течение 601 секунды
При выполнении задания hadoop в псевдоноде задание не выполняется и его убивают. Ошибка: Задача попытки_ не в состоянии сообщить о состоянии в течение 601 секунды Но та же самая программа работает через Eclipse (локальная работа). Задача: ...