Результаты поиска по запросу "hadoop"
SparkR Job 100 минут ожидания
Я написал немного сложный скрипт sparkR и запустил его, используя spark-submit. То, что в основном делает скрипт, - это читать строку таблицы на основе больш...
Как распаковать файлы .gz в новый каталог в hadoop?
У меня есть куча файлов .gz в папке в формате hdfs. Я хочу распаковать все эти файлы .gz в новую папку в формате hdf. Как мне это сделать?
Количество редукторов по умолчанию
В Hadoop, если мы не установили количество редукторов, сколько будет создано число редукторов?Как число картографов зависит от(общий размер данных) / (входно...
Получить последний обновленный файл в HDFS
Я хочу последний обновленный файл из одного из моих каталогов HDFS. Код должен в основном перебирать каталоги и подкаталоги и получать последний путь к файлу...
Spark 1.6-Не удалось найти двоичный файл winutils в двоичном пути hadoop
Я знаю, что есть очень похожий пост к этому (Не удалось найти двоичный файл winutils в двоичном пути hadoop), однако, я попробовал каждый предложенный шаг, и...
управляющий итератор в mapreduce
Я пытаюсь найти сумму любых заданных точек, используя hadoop. У меня проблема с получением всех значений от данного ключа в одном редукторе. Похоже на это.Ра...
Spark Выполнение файла TB в памяти
Предположим, у меня есть один файл данных Tb. Объем памяти каждого узла в кластере из 10 узлов составляет 3 ГБ.Я хочу обработать файл, используя спарк. Но ка...
Concat Avro файлы с использованием avro-tools
Я пытаюсь объединить файлы AVRO в один большой файл, проблема в
MultipleOutputFormat в hadoop
Я новичок в Hadoop. Я пробую программу Wordcount.Теперь, чтобы попробовать несколько выходных файлов, я использую
Как подключиться к Hadoop / Hive из .NET
Я работаю над решением, в котором у меня будет кластер Hadoop с запущенным Hive, и я хочу отправлять задания и запросы кустов из приложения .NET для обработк...