Результаты поиска по запросу "hdfs"
Как читать несколько строковых элементов в Spark?
Когда вы читаете файл в Spark, используяsc.textfile, это дает вам элементы, где каждый элемент представляет собой отдельную строку. Однако я хочу, чтобы кажд...
права пользователя файла hadoop
У меня проблема с настройкой прав доступа к файлам hadoop в hortonworks и cloudera.Мое требование:
Hadoop:… реплицироваться на 0 узлов вместо minReplication (= 1). Работает 1 датодода (-ов), и ни один из узлов не исключен из этой операции.
При попытке записи в HDFS как часть моего многопоточного приложения я получаю следующую ошибку
Чтение в CSV-файл как датафрейм из hdfs
Я использую pydoop для чтения в файл из hdfs, и когда я использую:
Как добавить типобезопасный конфигурационный файл, который находится на HDFS, для spark-submit (cluster-mode)?
У меня есть приложение Spark (Spark 1.5.2), которое передает данные из Кафки в HDFS. Мое приложение содержит два файла конфигурации Typesafe для настройки оп...
Concat Avro файлы с использованием avro-tools
Я пытаюсь объединить файлы AVRO в один большой файл, проблема в
Количество редукторов по умолчанию
В Hadoop, если мы не установили количество редукторов, сколько будет создано число редукторов?Как число картографов зависит от(общий размер данных) / (входно...
Как распаковать файлы .gz в новый каталог в hadoop?
У меня есть куча файлов .gz в папке в формате hdfs. Я хочу распаковать все эти файлы .gz в новую папку в формате hdf. Как мне это сделать?
Как установить размер блока данных в Hadoop? Это преимущество, чтобы изменить это?
Если мы можем изменить размер блока данных в Hadoop, пожалуйста, дайте мне знать, как это сделать. Выгодно ли менять размер блока? Если да, то дайте мне знат...