Результаты поиска по запросу "hadoop"
Jad-файлы Hadoop 2.0
Я получаю неожиданную ошибку при попытке создать экземплярConfiguration объект в моей программе Map / Reduce. Ошибка заключается в следующем: java.lang.NoClassDefFoundError: org / apache / commons / logging / LogFactory Я использую Hadoop ...
имеет более подробную информацию о стороне отладки. Это говорит о Solr, но работает примерно так же с Hadoop. Если у вас возникли проблемы, напишите сообщение ниже, и я постараюсь помочь.
учаю эту ошибку при запуске Hadoop на OSX 10.7: Невозможно загрузить информацию о области из SCDynamicStore. Поместите: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Невозможно создать каталог / user / travis / input / conf. Имя узла ...
Интересно. Я думал, что вы говорите о сжатии ввода, а не о сжатии вывода, извините. Вы заботитесь о сортировке данных в выходном файле? Вы можете легко использовать API файловой системы и обернуть FSDataOutputStream в фильтр сжатия LZO, если вам не нужна сортировка выходного файла. Если вы это сделаете, то FileOutputFormat.setCompressOutput () и setOutputCompressorClass (). Это прямо в Javadoc, нашел его через 10 секунд через Google.
но я установил компрессию LZO в Hadoop. Какой самый простой способ сжать файл в HDFS? Я хочу сжать файл, а затем удалить оригинал. Должен ли я создать работу MR с IdentityMapper и IdentityReducer, который использует сжатие LZO?
Как можно получить имя файла из задания потокового mapreduce в R?
Я транслирую задание R mapreduce, и мне нужно получить имя файла. Я знаю, что Hadoop устанавливает переменные среды для текущего задания до его запуска, и я могу получить доступ к env vars в R с помощью Sys.getenv (). Я нашел :Получить имя ...
Вызывается: java.lang.ClassNotFoundException: org.apache.zookeeper.KeeperException
Когда я запускаю программу JAVA (не могу новый HTable) в Eclipse IDE, я получаю следующие ошибки: Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/zookeeperKeeperException ...
Hadoop / Hive: загрузка данных из .csv на локальный компьютер
Как это исходит от новичка ... Для меня были настроены Hadoop и Hive, поэтому я могу выполнять запросы Hive на моем компьютере, получая доступ к данным в кластере AWS. Могу ли я выполнять запросы Hive с данными .csv, хранящимися на моем ...
Hadoop 2.2.0 совместим с Mahout 0.8?
У меня есть версия 2.2.0 кластера hadoop с mahout 0.8, это совместимо? Потому что всякий раз, когда я запускаю эту команду: bin/mahout recommenditembased --input mydata.dat --usersFile user.dat --numRecommendations 2 --output output/ ...
создать этот каталог.
аюсь запустить Apache Pig на своем кластере Hadoop и столкнулся с проблемой разрешений. Сама Pig запускается и подключается к кластеру просто из оболочки Pig, я могуls через и вокруг моих каталогов HDFS. Однако, когда я пытаюсь загрузить данные и ...
Hadoop Map Reduce For Google веб-график
В качестве задания нам была дана задача создания функций уменьшения карты, которые будут выводить для каждого узла n в списке веб-графиков Google список узлов, которые можно перейти с узла n за 3 прыжка. (Фактические данные можно найти ...
Причина использования 100-узловых кластеров hBase не в том, что HBase не масштабируется до больших размеров. Это объясняется тем, что проще обновлять программное обеспечение hBase / HDFS, не прерывая работу всего сервиса. Другая причина заключается в том, чтобы запретить использование одного NameNode как SPOF для всей службы. Кроме того, HBase используется для различных сервисов (не только для сообщений FB), и разумно использовать подход, основанный на использовании печенья, для настройки многочисленных кластеров HBase на основе подхода с 100 узлами. Число 100 является adhoc, мы не сосредоточились на том, является ли 100 оптимальным или нет.
ти приземлился в Кассандре после моего исследования решений для хранения больших объемов данных. Но обычно говорят, что Hbase - лучшее решение для крупномасштабной обработки и анализа данных. Хотя оба хранилища одинаковы по ключу / значению, и ...