Результаты поиска по запросу "hdfs"
Concat Avro файлы с использованием avro-tools
Я пытаюсь объединить файлы AVRO в один большой файл, проблема в
Как добавить типобезопасный конфигурационный файл, который находится на HDFS, для spark-submit (cluster-mode)?
У меня есть приложение Spark (Spark 1.5.2), которое передает данные из Кафки в HDFS. Мое приложение содержит два файла конфигурации Typesafe для настройки оп...
Чтение в CSV-файл как датафрейм из hdfs
Я использую pydoop для чтения в файл из hdfs, и когда я использую:
Hadoop:… реплицироваться на 0 узлов вместо minReplication (= 1). Работает 1 датодода (-ов), и ни один из узлов не исключен из этой операции.
При попытке записи в HDFS как часть моего многопоточного приложения я получаю следующую ошибку
права пользователя файла hadoop
У меня проблема с настройкой прав доступа к файлам hadoop в hortonworks и cloudera.Мое требование:
Cloudera 5.4.2: неверный или слишком большой размер блока Avro при использовании потоковой передачи Flume и Twitter
При попытке Cloudera 5.4.2 возникает крошечная проблема. Основываясь на этой статьеApache Flume - получение данных из Twitterhttp://www.tutorialspoint.com/ap...
Как читать несколько строковых элементов в Spark?
Когда вы читаете файл в Spark, используяsc.textfile, это дает вам элементы, где каждый элемент представляет собой отдельную строку. Однако я хочу, чтобы кажд...
Как разархивировать файлы, хранящиеся в HDFS с использованием Java, без предварительного копирования в локальную файловую систему?
Мы храним zip-файлы, содержащие XML-файлы, в HDFS. Нам необходимо иметь возможность программно разархивировать файл и вывести из него содержащиеся в нем XML-...
Читайте целые текстовые файлы из сжатия в Spark
У меня следующая проблема: предположим, что у меня есть каталог, содержащий сжатые каталоги, которые содержат несколько файлов, хранящихся в HDFS. Я хочу соз...