Результаты поиска по запросу "hadoop"
Как перезаписать / повторно использовать существующий выходной путь для заданий Hadoop и снова
Я хочу перезаписать / повторно использовать существующий выходной каталог при ежедневном запуске задания Hadoop. На самом деле выходной каталог будет хранить итоговые результаты каждого дня выполнения задания. Если я указываю тот же выходной ...
Расположение среды Java не является допустимым идентификатором
Я пытаюсь установить переменную JAVA_HOME в моем файле hadoop-env.sh вручную, но, согласно Cygwin, путь к моему биновому файлу Java является «недопустимым идентификатором». Я получаю следующее сообщение об ошибке. Я полагаю, что правильно ...
Можно ли использовать Apache Mahout без зависимости Hadoop?
Можно ли использовать Apache mahout без какой-либо зависимости от Hadoop. Я хотел бы использовать алгоритм mahout на одном компьютере, включив только библиотеку mahout в свой проект Java, но я вообще не хочу использовать hadoop, так как я все ...
Как заставить Hadoop находить импортированные модули Python при использовании пользовательских функций Python в Pig?
Я использую Pig (0.9.1) с UDF, написанными на Python. Скрипты Python импортируют модули из стандартной библиотеки Python. Мне удалось запустить сценарии Pig, которые успешно вызывают пользовательские функции Python в локальном режиме, но когда я ...
Разница между hadoop fs -put и hadoop fs -copyFromLocal
-put а также-copyFromLocal задокументированы как идентичные, в то время как в большинстве примеров используется подробный вариант -copyFromLocal. Почему? То же самое для-get а также-copyToLocal
Сериализация с использованием ArrayWritable, кажется, работает забавно
Я работал сArrayWritableв какой-то момент мне нужно было проверить, как Hadoop сериализуетArrayWritableэто то, что я получил, установивjob.setNumReduceTasks(0): 0 IntArrayWritable@10f11b8 3 IntArrayWritable@544ec1 6 IntArrayWritable@fe748f ...
потоковая передача hadoop: как просматривать журналы приложений?
Я вижу все журналы Hadoop на моем/usr/local/hadoop/logs дорожка но где я могу увидеть журналы уровня приложений? например : mapper.py import logging def main(): logging.info("starting map task now") // -- do some task -- // print ...
Кластер Hadoop. Нужно ли повторять код на всех компьютерах перед запуском задания?
Это то, что смущает меня, когда я использую пример wordcount, я держу код на master и позволяю ему делать вещи с рабами, и он работает нормально Но когда я запускаю свой код, он начинает давать сбой на рабах, выдающих странные ошибки, такие ...
Hadoop DistributedCache устарел - какой предпочтительный API?
Моим картографическим задачам нужны некоторые данные конфигурации, которые я хотел бы распространять через распределенный кэш. HadoopMapReduce ...
Как настроить класс Writable в Hadoop?
Я пытаюсь реализовать класс Writable, но я понятия не имею, как реализовать класс Writable, если в моем классе есть вложенный объект, такой как список и т. Д. Может ли какое-либо тело помочь мне? Спасибо public class StorageClass implements ...