Результаты поиска по запросу "hdfs"
Как перечислить файлы в директории HDFS
Как мне перечислить файлы в каталоге HDFS? Это для перечисления файлов в кластере Apache Spark с использованием Scala. Я вижу, что есть опция sc.textfile (),...
PySpark: чтение, отображение и сокращение из многострочного текстового файла записи с новым APIHadoopFile
Я пытаюсь решить проблему, похожую наэта почта, Мои исходные данные - это текстовый файл, который содержит значения (наблюдения) нескольких датчиков. Каждое ...
Добавление разделенной запятыми таблицы в Hive
У меня очень простой вопрос: как мне добавить очень простую таблицу в Hive. Моя таблица сохраняется в текстовом файле (.txt), который сохраняется в HDFS. Я п...
Spark: сохранение RDD по уже существующему пути в HDFS
Я могу сохранить вывод RDD в HDFS сsaveAsTextFile метод. Этот метод вызывает исключение, если путь к файлу уже существует.У меня есть случай, когда мне нужно...
Искра нужна HDFS
Привет, кто-нибудь может мне объяснить, нужна ли Apache 'Spark Standalone' HDFS?Если требуется, как Spark использует размер блока HDFS во время выпол...
Получить файлы, которые были созданы за последние 5 минут в hadoop, используя скрипт оболочки
У меня есть файлы в HDFS как:
Отказ от соединения через порт 9000
Я хочу настроить hadoop-кластер в псевдораспределенном режиме для разработки. Попытка запустить кластер hadoop не удалась из-за отказа в соединении через порт 9000. Это мои конфиги (довольно стандартные): Сайт-core.xml: <?xml version="1.0"?> ...