Результаты поиска по запросу "hdfs"
Количество редукторов по умолчанию
В Hadoop, если мы не установили количество редукторов, сколько будет создано число редукторов?Как число картографов зависит от(общий размер данных) / (входно...
Concat Avro файлы с использованием avro-tools
Я пытаюсь объединить файлы AVRO в один большой файл, проблема в
Чтение в CSV-файл как датафрейм из hdfs
Я использую pydoop для чтения в файл из hdfs, и когда я использую:
права пользователя файла hadoop
У меня проблема с настройкой прав доступа к файлам hadoop в hortonworks и cloudera.Мое требование:
Как читать несколько строковых элементов в Spark?
Когда вы читаете файл в Spark, используяsc.textfile, это дает вам элементы, где каждый элемент представляет собой отдельную строку. Однако я хочу, чтобы кажд...
Cloudera 5.4.2: неверный или слишком большой размер блока Avro при использовании потоковой передачи Flume и Twitter
При попытке Cloudera 5.4.2 возникает крошечная проблема. Основываясь на этой статьеApache Flume - получение данных из Twitterhttp://www.tutorialspoint.com/ap...
Как разархивировать файлы, хранящиеся в HDFS с использованием Java, без предварительного копирования в локальную файловую систему?
Мы храним zip-файлы, содержащие XML-файлы, в HDFS. Нам необходимо иметь возможность программно разархивировать файл и вывести из него содержащиеся в нем XML-...
PySpark: чтение, отображение и сокращение из многострочного текстового файла записи с новым APIHadoopFile
Я пытаюсь решить проблему, похожую наэта почта, Мои исходные данные - это текстовый файл, который содержит значения (наблюдения) нескольких датчиков. Каждое ...
Spark: сохранение RDD по уже существующему пути в HDFS
Я могу сохранить вывод RDD в HDFS сsaveAsTextFile метод. Этот метод вызывает исключение, если путь к файлу уже существует.У меня есть случай, когда мне нужно...
Искра нужна HDFS
Привет, кто-нибудь может мне объяснить, нужна ли Apache 'Spark Standalone' HDFS?Если требуется, как Spark использует размер блока HDFS во время выпол...