Результаты поиска по запросу "hadoop"
hadoop конвертирует \ r \ n в \ n и нарушает формат ARC
Я пытаюсь проанализировать данные с commoncrawl.org с помощью потоковой передачи hadoop. Я настроил локальный hadoop для тестирования своего кода, и у меня есть простой Ruby Mapper, который использует потоковый читатель ARCfile. Когда я вызываю ...
Виртуальный кластер Hadoop против одной машины
У меня есть вопрос относительно скорости и производительность использования нескольких виртуализированных узлов на одном компьютере против одного узла на сам...
, java.util.Comparator)
олучить "значения" семейства столбцов hbase в любом отсортированном порядке? любить семейство столбцов --------------------------------- колонка: 1 1 колонка: 3 2 колонка: 4 3 колонка: 2 4
@shrewquest - Обновлен ответ методом 2, который не требует изменений в ваших данных. надеюсь это поможет!
аюсь импортировать данные в следующем формате в таблицу кустов [ { "identifier" : "id#1", "dataA" : "dataA#1" }, { "identifier" : "id#2", "dataA" : "dataA#2" } ]У меня есть несколько таких файлов, и я хочу, чтобы каждый {} формировал одну строку ...
PIG UDF обрабатывает многослойный кортеж, разбитый на разные мапперы
У меня есть файл, где каждый кортеж занимает несколько строк, например: START name: Jim phone: 2128789283 address: 56 2nd street, New York, USA END START name: Tom phone: 6308789283 address: 56 5th street, Chicago, 13611, USA END . . .Итак, выше ...
Несколько выходов в редукторе
Я работаю над простой программой уменьшения карты. Я хочу создать разные файлы после редуктора для каждого слова в ключе. Например, после выполнения Mapreduce у меня что-то вроде Приоритет 1 х 2 Приоритет 1 год 2 Приоритет 1 z 2 приоритет2 х ...
Spark поддерживает подзапросы? [Дубликат]
На этот вопрос уже есть ответ: Поддерживает ли SparkSQL подзапрос? [/questions/33933118/does-sparksql-support-subquery] 2 ответа Когда я выполняю этот запрос, я получаю такую ошибку select * from raw_2 where ip NOT IN (select * from raw_1); ...
Почему Dockerized Hadoop datanode регистрируется с неправильным IP-адресом?
У меня есть отдельные изображения Docker (1.9.1) для наменодов и датододов Hadoop (2.7.1). Я могу создавать контейнеры из них и передавать их через пользоват...
hadoop - карта уменьшает задачу и статическую переменную
Я только начал работать над некоторым заданием hadoop / hbase MapReduce (используя cloudera), и у меня есть следующий вопрос:Допустим, у нас есть класс Java ...