Результаты поиска по запросу "mapreduce"
Как найти идентификатор работы Hadoop в коде?
У меня есть программа Hadoop, которая имеет цикл. На каждой итерации цикла создается задание. Как я могу найти идентификатор работы в коде?
Выполнение задания с использованием потоковой передачи hadoop и mrjob: PipeMapRed.waitOutputThreads (): не удалось выполнить подпроцесс с кодом 1
Эй, я довольно новичок в мире больших данных. Я наткнулся на этот ...
Чтение HDFS и локальных файлов в Java
Я хочу прочитать пути к файлам независимо от того, являются ли они HDFS или локальными. В настоящее время я передаю локальные пути с префиксом file: // и пути HDFS с префиксом hdfs: // и пишу некоторый код следующим образом Configuration ...
Класс картографа не найден
Иногда моя работа MR жалуется, что класс MyMapper не найден. И что я должен дать job.setJarByClass (MyMapper.class); сказать ему, чтобы загрузить его из моего файла JAR. cloudera @ cloudera-vm: / tmp / translationator $ hadoop jar ...
Hadoop MapReduce сортировать уменьшить выход с помощью ключа
внизу есть программа для уменьшения количества слов, содержащая слова нескольких текстовых файлов. Моя цель - получить результат в порядке убывания количества появлений. К сожалению, программа сортирует вывод лексикографически по ключу. Я ...
Конфигурация искры: SPARK_MEM против SPARK_WORKER_MEMORY
В spark-env.sh можно настроить следующие переменные среды: # - SPARK_WORKER_MEMORY, to set how much memory to use (e.g. 1000m, 2g) export SPARK_WORKER_MEMORY=22g [...] # - SPARK_MEM, to change the amount of memory used per node (this should # be ...
В чем причина наличия записываемых классов-оболочек в Hadoop MapReduce для типов Java?
Мне кажется, чтоorg.apache.hadoop.io.serializer.Serialization может быть написан для сериализации типов Java напрямую в том же формате, в который классы-обертки сериализуют тип. Таким образом, Mappers и Reducers не должны иметь дело ...
Задание MapReduce со смешанными источниками данных: таблица HBase и файлы HDFS
Мне нужно реализовать работу MR, которая обращается к данным как из таблицы HBase, так и из файлов HDFS. Например, mapper считывает данные из таблицы HBase и из файлов HDFS, эти данные имеют один и тот же первичный ключ, но имеют другую схему. ...
Для массива, более эффективно использовать map () и Reduce () вместо ForEach () в JavaScript?
1) Как мы знаем, побочных эффектов у map () и lower () нет. В настоящее время у нас также есть muti-core на мобильном телефоне. Так эффективнее ли их использовать? 2) С другой стороны, в большинстве браузеров для выполнения js есть только ...
Установка textinputformat.record.delimiter в искре
В Spark можно установить некоторые параметры конфигурации hadoop, например, например, System.setProperty("spark.hadoop.dfs.replication", "1")Это работает, коэффициент репликации установлен на 1. Предполагая, что это так, я подумал, что этот ...