Результаты поиска по запросу "hadoop"
Как распаковать Hadoop уменьшить конец выходного файла с Snappy?
Наш кластер hadoop использует snappy в качестве кодека по умолчанию. Задание Hadoop уменьшить имя выходного файла, какpart-r-00000.snappy, JSnappy не может распаковать файл bcz JSnappy требует, чтобы файл начинался с SNZ. Выходной файл сокращения ...
Hive - получить имена столбцов
Можно ли извлечь имена столбцов из таблицы и загрузить их в другую таблицу или текстовый файл в кусте? Пожалуйста, дайте мне знать, если мы можем сделать это
Метод hadoop для отправки вывода в несколько каталогов
мойMapReduce задание обрабатывает данные по датам и должно записывать вывод в определенную структуру папок. Текущее ожидание заключается в следующем: 2013 01 02 .. 2012 01 02 ..и т.п. В любое время я получаю только до 12 месяцев данных, поэтому ...
Не удается инициализировать кластер. Пожалуйста, проверьте свою конфигурацию для mapreduce.framework.name и соответствующих адресов сервера-отправка job2remoteClustr
Я недавно обновил свой кластер с Apache Hadoop1.0 до CDH4.4.0. У меня есть сервер weblogic на другом компьютере, с которого я отправляю задания на этот удаленный кластер через клиент mapreduce. Я все еще хочу использовать MR1, а не пряжу. Я ...
Ошибка нехватки памяти в фазе преобразования Mapreduce
Я получаю странные ошибки при запускеWordCount типапрограмма mapreduce. У меня есть кластер Hadoop с 20 рабами, каждый из которых имеет 4 ГБ оперативной памяти. Я настроил задачи карты на 300 МБ, а слоты уменьшенных задач - 1 ГБ. У меня есть 2 ...
класс вашей карты должен расширяться: org.apache.hadoop.mapred.Mapper, а не org.apache.hadoop.mapreduce.Mapper
я есть работа в mapreduce: мой код Класс карты: public static class MapClass extends Mapper<Text, Text, Text, LongWritable> { @Override public void map(Text key, Text value, Context context) throws IOException, InterruptedException { } }И я хочу ...
Из того, что я понимаю, прочитав выше, это зависит от входных файлов. Если входных файлов 100 означает - Hadoop создаст 100 задач карты. Тем не менее, это зависит от конфигурации узла на Сколько можно запустить в один момент времени. Если узел настроен для запуска 10 задач карты - только 10 задач карты будут выполняться параллельно, выбрав 10 различных входных файлов из 100 доступных. Задачи карты продолжат извлекать больше файлов по мере завершения обработки файла.
тоящее время я выполняю работу, я установил число задач карты на 20, но получаю большее число. Я также установил задачу уменьшения на ноль, но я все еще получаю число, отличное от нуля. Общее время выполнения задания MapReduce также ...
HBase - java.lang.NoClassDefFoundError в Java
Я просто пытаюсь взаимодействовать с Hbase, используя Java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.client.*; import org.apache.hadoop.hbase.util.*; import ...
Спасибо, но я не могу поддержать, поскольку у меня все еще нет 15 репутации.
у напечатать каждый шаг моей «карты» после ее выполнения на консоли. Что-то вроде System.out.println («Завершен первый шаг»); System.out.println («Завершен второй шаг»); и так далее Есть ли специальная команда для этого или это вообще ...
Распределенное планирование работы, управление и отчетность
Я недавно поиграл сHadoop [http://hadoop.apache.org/]и был впечатлен его планированием, управлением и отчетностью заданий MapReduce. Похоже, что распределение и выполнение новых заданий довольно плавное, что позволяет разработчику ...