Результаты поиска по запросу "hadoop"
Зачем нам нужно явно указывать выходной класс ключ / значение в программе Hadoop?
В книге «Hadoop: полное руководство» приведен пример программы с приведенным ниже кодом. JobConf conf = new JobConf(MaxTemperature.class); conf.setJobName("Max temperature"); FileInputFormat.addInputPath(conf, new ...
Как Hive решает, когда использовать карту, а когда нет?
В качестве простого примера select * from tablename;НЕ пинает в карту уменьшать, пока select count(*) from tablename;ДЕЛАЕТ. Какой общий принцип используется, чтобы решить, когда использовать уменьшение карты (по ульям)?
Как я могу проверить Hadoop SequenceFile, для которого мне не хватает полной информации о схеме?
У меня есть сжатый файл Hadoop SequenceFile от клиента, которого я хотел бы проверить. В настоящее время у меня нет полной информации о схеме (над которой я работаю отдельно). Но в промежуточный период (и в надежде на общее решение), каковы мои ...
Не удалось запустить пример потоковой передачи hadoop - Несовпадение типов в ключе с карты
I was running $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar \ -D stream.map.output.field.separator=. \ -D stream.num.map.output.key.fields=4 \ -input myInputDirs \ -output myOutputDir \ ...
Коэффициент репликации HDFS
Когда я загружаю файл в HDFS, если я устанавливаю коэффициент репликации равным 1, разделение файлов будет происходить на одном компьютере, или разделение будет распределяться по нескольким компьютерам по сети? hadoop fs -D dfs.replication=1 ...
как написать подзапрос и использовать предложение «In» в Hive
Как я могу использовать предложение In в Hive Я хочу написать что-то вроде этого в Hive выберите x из y, где y.z в (выберите отличные z из y) порядке x; Но я не нахожу никакого способа сделать это ... Я попытался В пункте Hive 0.7 это ...
Плагин Hadoop 2.2.0 Eclipse
Я установил на моем компьютере hadoop-2.2.0 (одноузловый cluser) и maven3.3.1. Я хочу запрограммировать код MapReduce в Eclipse. Итак, мои вопросы: Какая связь между mapreduce и maven?Как мне отладить код в Eclipse? Учебник говорит, что я должен ...
Что такое улей, это база данных? [закрыто]
Я только начал изучать Улей. Он имеет все структуры, похожие на СУБД, такие как таблицы, объединения, разделы ... я понимаю, что Hive все еще использует HDFS для хранения, и это абстракция SQL HDFS. Исходя из этого, я не уверен, что сам Hive - ...
Как заставить Hadoop использовать все ядра в моей системе?
У меня 32-х ядерная система. Когда я запускаю задание MapReduce с использованием Hadoop, я никогда не вижу, чтобы процесс java использовал более 150% ЦП (в соответствии с верхом), и обычно он остается на отметке 100%. Это должно быть ближе к ...
Hadoop & Bash: удалить имена файлов, соответствующие диапазону
Допустим, у вас есть список файлов в HDFS с общим префиксом и инкрементным суффиксом. Например, part-1.gz, part-2.gz, part-3.gz, ..., part-50.gzЯ только хочу оставить несколько файлов в каталоге, скажем 3. Любые три файла подойдут. Файлы ...