Результаты поиска по запросу "hadoop"
Java или Pig регулярное выражение для удаления значений из строки UserAgent
Мне нужно вычеркнуть третье и последующие значения в «заключенном в скобки» компоненте строки агента пользователя. Чтобы получить Mozilla / 4.0 (совместимо; MSIE 8.0) из Mozilla / 4.0 (совместимо; MSIE 8.0; Windows NT 6.0; Trident / 4.0; ...
Полное использование всех ядер в псевдораспределенном режиме Hadoop
Я запускаю задачу в псевдораспределенном режиме на своем 4-ядерном ноутбуке. Как я могу обеспечить эффективное использование всех ядер? В настоящее время мой трекер работы показывает, что одновременно выполняется только одна работа. Означает ли ...
Разница между `hadoop dfs` и` hadoop fs` [закрыто]
Я виделdfs Команда, затем пошел к документации, но я не могу понять. С моей точки зренияfs а такжеdfs работает аналогично. Кто-нибудь дает точную разницу?
Ошибка: java.io.IOException: неправильное значение класса: класс org.apache.hadoop.io.Text не является классом Myclass
У меня есть мой картер и редукторы следующим образом. Но я получаю какое-то странное исключение. Я не могу понять, почему это вызывает такое исключение. public static class MyMapper implements Mapper<LongWritable, Text, Text, Info> { @Override ...
Запустить задание Hadoop без использования JobConf
Я не могу найти ни одного примера отправки задания Hadoop, в котором не используется устаревшееJobConf класс.JobClient, который не устарел, все еще поддерживает только методы, которые принимаютJobConf параметр. Может кто-нибудь, пожалуйста, ...
Hadoop FS поиск размера блока?
В Hadoop FS, как найти размер блока для конкретного файла? Меня прежде всего интересовала командная строка, что-то вроде: hadoop fs ... hdfs://fs1.data/...Но похоже, что этого не существует. Есть ли решение Java?
Неправильный класс ключа: текст не предназначен для записи
Это может показаться глупым вопросом, но я не вижу проблемы в моих типах в коде mapreduce для hadoop Как указано в вопросе, проблема в том, что он ожидает IntWritable, но я передаю ему текстовый объект в collector.collect редуктора. Моя ...
Контейнер работает за пределами памяти
В Hadoop v1 я назначил каждый 7 слотов картографа и редуктора размером 1 ГБ, мои картпрессоры и редукторы работают нормально. У моей машины 8G памяти, 8 процессоров. Теперь с YARN, когда я запускаю одно и то же приложение на той же машине, я ...
Динамическое разбиение + CREATE AS на HIVE
Я пытаюсь создать новую таблицу из другой таблицы сCREATE AS и динамическое разбиение на HiveCLI. Я учусь на официальной вики Hive, где есть этот пример: CREATE TABLE T (key int, value string) PARTITIONED BY (ds string, hr int) AS SELECT key, ...
Какой язык использовать для программ Hadoop Map / Reduce? Java или PHP?
Я недавно написал пару программ map / Reduce в Java. Но я также знаю, что можно использовать язык сценариев, такой как php. Тем не менее, в основном каждый рекомендует Java или Python. Я в настоящее время работаю в php. Поэтому мне ...