Результаты поиска по запросу "hadoop"
Ошибка в Hadoop MapReduce
Когда я запускаю программу mapreduce с использованием Hadoop, я получаю следующую ошибку. 10/01/18 10:52:48 INFO mapred.JobClient: Task Id : attempt_201001181020_0002_m_000014_0, Status : FAILED java.io.IOException: Task process exit with ...
Hadoop 2 IOException только при попытке открыть файлы предполагаемого кэша
Я недавно обновил до hadoop 2.2 (используя этот учебникВот [http://codesfusion.blogspot.com/2013/10/setup-hadoop-2x-220-on-ubuntu.html?m=1] ). Мой основной класс работы выглядит так, и выдает IOException: import java.io.*; import java.net.*; ...
Как запустить Hadoop на кластере Mesos?
Я пытаюсь настроить кластер Apache Mesos и запустить на нем Hadoop-Job. ДокументацияВот [https://github.com/mesos/hadoop]не на моем уровне, так что я не могу понять, и, возможно, кто-то здесь может объяснить мне: Сначала я должен установить ...
@ YvesMartin да, нерекурсивным нужно около 15 гигабайт памяти, чтобы сделать 30 элементов ..
я есть математическая задача, которую я решаю методом проб и ошибок (я думаю, что это называется грубой силой), и программа работает нормально, когда есть несколько опций, но, поскольку я добавляю больше переменных / данных, для запуска требуется ...
Предупреждение Hadoop «Невозможно загрузить библиотеку native-hadoop для вашей платформы»
Я сейчас настраиваю hadoop на работающем сервереCentOS, Когда я бегуstart-dfs.sh или жеstop-dfs.shЯ получаю следующую ошибку: WARN util.NativeCodeLoader: невозможно загрузить библиотеку native-hadoop для вашей платформы ... с использованием ...
Вы пробовали простое:
аюсь записать некоторые данные в hbase с помощью клиентской программы HBase @ Hadoop работает на предварительно сконфигурированной виртуальной машине от Cloudera @ ubuntu. Клиент работает в системе, в которой размещена виртуальная машина, и ...
Импала не может получить доступ ко всем таблицам улья
Я пытаюсь запросить данные hbase через улей (я использую cloudera). Я создал внешнюю таблицу fiew hive, указывающую на hbase, но дело в том, что Impala от Cloudera не имеет доступа ко всем этим таблицам. Все внешние таблицы Hive отображаются в ...
Получить имя входного файла в потоковой программе hadoop
Я могу найти имя, если входной файл в классе сопоставления с помощью FileSplit при написании программы на Java. Есть ли соответствующий способ сделать это, когда я пишу программу на Python (с использованием потоковой передачи?) Я нашел ...
Как определить MapReduce, сколько картографов использовать?
Я пытаюсь ускорить оптимизацию работы MapReduce. Есть ли способ, которым я могу сказать hadoop использовать определенное количество процессов картографирования / редуктора? Или, по крайней мере, минимальное количество процессов ...
Фильтровать строку на основе слова
У меня есть свиная работа, где мне нужно отфильтровать данные, найдя в них слово, Вот фрагмент A = LOAD '/home/user/filename' USING PigStorage(','); B = FOREACH A GENERATE $27,$38; C = FILTER B BY ( $1 == '*Word*'); STORE C INTO ...