Результаты поиска по запросу "hadoop"
Как HBase включает произвольный доступ к HDFS?
Учитывая, что HBase - это база данных, файлы которой хранятся в HDFS, как она обеспечивает произвольный доступ к отдельному фрагменту данных в HDFS? Каким способом это достигается? Изсправочное руководство по Apache ...
Команда Hadoop не найдена
Я установил и настроил hadoop на машине linux. Теперь я пытаюсь запустить пример задания MR. Я запустил hadoop с помощью команды /usr/local/hadoop/bin/start-all.sh, и вывод namenode running as process 7876. Stop it first. localhost: datanode ...
Несовместимость версий между Spring batch и cloudera hadoop
Я пробовал программу подсчета количества слов в пакетном режиме и столкнулся с такой проблемой: ERROR [org.springframework.batch.core.step.AbstractStep] - <Encountered an error executing the step> java.lang.IncompatibleClassChangeError: Found ...
Различные способы настройки памяти для дочернего процесса TaskTracker (Mapper и Reduce Tasks)
В чем разница между настройкойmapred.job.map.memory.mb [https://issues.apache.org/jira/browse/HADOOP-5881]а такжеmapred.child.java.opts [http://hadoop.apache.org/common/docs/current/mapred-default.html]использование -Xmx для контроля ...
Получение данных в и из Elastic MapReduce HDFS
Я написал программу Hadoop, которая требует определенной компоновки в HDFS, а затем мне нужно извлечь файлы из HDFS. Он работает на моей установке Hadoop с одним узлом, и мне не терпится заставить его работать с 10-ю узлами в ...
MapReduceBase и Mapper устарели
public static class Map extends MapReduceBase implements MapperMapReduceBase, Mapper а такжеJobConf устарели вHadoop 0.20.203. Что мы должны использовать сейчас? Редактировать 1 - дляMapper иMapReduceBaseЯ обнаружил, что нам просто ...
Задание пределов памяти с помощью hadoop
Я пытаюсь запустить задание с высокой памятью в кластере Hadoop (0.20.203). Я изменил mapred-site.xml, чтобы применить некоторые ограничения памяти. <property> <name>mapred.cluster.max.map.memory.mb</name> <value>4096</value> </property> ...
Смена пользователя в питоне
Я пишу простой сценарий, который перезапускает раб Hadoop. В сценарии я должен сделать некоторые начальные изменения как пользователь root. После этого мне нужно перейти к пользователю «hadoop» и выполнить набор команд. Я использовал os.system ...
Исключение не найдено в Mapreduce wordcount
я пытаюсь запустить задание wordcount в hadoop.but, всегда получая исключение не найденный класс. Я публикую класс, который я написал, и команду, которую я использую для запуска задания import java.io.IOException; import java.util.*; ...
Обучение нейронной сети параллельно, лучше использовать Hadoop или GPU?
Мне нужно обучить нейронную сеть с 2-4 скрытыми слоями, пока не уверен в структуре реальной сети. Я думал тренировать его, используя Hadoop Map Reduction (кластер из 12 штук) или графический процессор, чтобы получить более быстрые результаты. Как ...