Результаты поиска по запросу "hadoop"
Спасибо - я знал, что должен быть простой способ сделать это.
я есть набор записей, которые я загружаю из файла, и первое, что мне нужно сделать, это получить максимум и минимум столбца. В SQL я бы сделал это с помощью подзапроса, как это: select c.state, c.population, (select max(c.population) from ...
Знает ли главный узел EMR свой идентификатор кластера?
Я хочу иметь возможность создавать кластеры EMR и отправлять сообщения в какую-то центральную очередь для этих кластеров. Чтобы это работало, мне нужно, чтобы какой-то агент работал на каждом главном узле. Каждый из этих агентов должен будет ...
ZooKeeper существует не удалось после 3 попыток
Я использую Hadoop-1.2.1 и HBase-0.94.11 в псевдораспределенном режиме. Из-за сбоя питания настройки Hadoop и HBase вышли из строя. В следующий раз, когда я перезапустил свой компьютер и настроил псевдораспределение, HBase перестал работать со ...
, java.util.Comparator)
олучить "значения" семейства столбцов hbase в любом отсортированном порядке? любить семейство столбцов --------------------------------- колонка: 1 1 колонка: 3 2 колонка: 4 3 колонка: 2 4
Я считаю, что он запускает hdfs namenode с --workers, он потерпит неудачу с такой проблемой.
анавливаю hadoop 3.1.1 homebrew на Mac OS. Конфигурация core-site.xml выглядит следующим образом: <configuration> <property> ...
Еще нет. Я попробую это.
лал образ hadoop, основанный на centos, используя dockerfile. Есть 4 узла. Я хочу настроить кластер, используя ssh-copy-id. Но произошла ошибка. ERROR: ssh: connect to host [ip] port 22: Connection refusedКак я могу решить эту проблему?
Надеюсь, это поможет!
аюсь настроить HDFS на мини-кубе (на данный момент), а затем на кластере DEV kubernetes, чтобы я мог использовать его со Spark. Я хочу, чтобы Spark запускался локально на моей машине, чтобы я мог работать в режиме отладки во время разработки, ...
YarnException: неавторизованный запрос на запуск контейнера
Я настроил hadoop2.2.0 на 3 кластера. Все идет хорошо. NodeManager и Datanode запускаются в каждом кластере. Но, когда я запускаю пример wordcount, происходит 100% -ое сопоставление, и оно дает следующее исключение: map 100% reduce 0% 13/11/28 ...
Получение «Нет места на устройстве» в течение ок. 10 ГБ данных по экземплярам EMR m1.large
Я получаю сообщение об ошибке «Нет свободного места на устройстве» при выполнении заданий Amazon EMR с использованием m1.large в качестве типа экземпляра для экземпляров hadoop, создаваемых потоком заданий. Работа генерирует ок. Максимум 10 ГБ ...
как ограничить количество картостроителей
Я явно указываю количество картографов в моей Java-программе, используяconf.setNumMapTasks(), но когда задание заканчивается, счетчик показывает, что количество запущенных задач карты было больше указанного значения. Как ограничить количество ...