Результаты поиска по запросу "hadoop"
Затем вы можете позвонить с помощью такой команды:
ожет быть основной вопрос, но я не смог найти ответ на него в Google. У меня есть задание уменьшения карты, которое создает несколько выходных файлов в своем выходном каталоге. Мое приложение Java выполняет это задание на удаленном кластере ...
Масштабируемое хранилище изображений
В настоящее время я разрабатываю архитектуру для веб-приложения, которое также должно обеспечивать хранение изображений. Пользователи смогут загружать фотографии как одну из ключевых функций сервиса. Также просмотр этих изображений будет одним из ...
Затем он выполняет окончательный сценарий свиньи. Я знаю, что это немного похоже на подход Рубе Голдберга, но пока все хорошо. :-)
ем рабочем процессе используется кластер с упругой картой AWS для запуска серии заданий Pig для манипулирования большим объемом данных в агрегированных отчетах. К сожалению, входные данные потенциально противоречивы и могут привести к тому, что ...
В маппере имя файла вы можете получить по этой команде:
даю программу для анализа файлов PDF, DOC и DOCX. Эти файлы хранятся в HDFS. Когда я запускаю свое задание MapReduce, я хочу, чтобы функция карты имела имя файла в качестве ключа и двоичное содержимое в качестве значения. Затем я хочу создать ...
Невозможно построить копилку -> / home / build / ivy / lib не существует
ел бы знать, как выполнять запросы Pig, хранящиеся в формате Hive. Я настроил Hive для хранения сжатых данных (используя этот ...
даже у других компонентов hadoop, таких как hbase / cassandra, также есть клиенты на большинстве языков
разработчиком C ++ около 10 лет. Мне нужно подобрать Java только для Hadoop. Я сомневаюсь, что я буду делать что-то еще в Java. Итак, я хотел бы список вещей, которые я должен был бы забрать. Конечно, мне нужно выучить основной язык, но что ...
верно, MapReduce не должен иметь произвольный доступ. Это не вписывается в парадигму.
еделенные файловые системы, такие как Google File System и Hadoop, не поддерживают произвольный ввод-вывод. (Он не может изменить файл, который был написан ранее. Возможно только написание и добавление.) Почему они разработали файловую систему ...
Не удалось найти двоичный файл winutils в двоичном пути hadoop
Я получаю следующую ошибку при запуске namenode для последней версии hadoop-2.2. Я не нашел файл winutils exe в папке hadoop bin. Я пробовал ниже команды $ bin/hdfs namenode -format $ sbin/yarn-daemon.sh start resourcemanager ERROR [main] ...
Пожалуйста, прочитайте вопрос. ОП уже использовал кластерный дампер.
устил кластеризационный тест на просканированных страницах (более 25 тыс. Документов; набор личных данных). Я сделал кластерный дамп: $MAHOUT_HOME/bin/mahout clusterdump --seqFileDir output/clusters-1/ --output clusteranalyze.txtВывод после ...
Ввод-сопоставление пары ключ-значение в Hadoop
Обычно мы пишем маппер в виде: public static class Map extends Mapper<**LongWritable**, Text, Text, IntWritable>Здесь пара ключ-значение ввода для преобразователя<LongWritable, Text> - насколько я знаю, когда маппер получает входные данные, он ...