Как перечислить файлы в директории HDFS

Как мне перечислить файлы в каталоге HDFS? Это для перечисления файлов в кластере Apache Spark с использованием Scala. Я вижу, что есть опция sc.textfile (),...

Как запустить программу Hadoop?

Объединить выходные файлы CSV Spark с одним заголовком

Как получить данные таблицы Phoenix через сервис HBase REST

PySpark: чтение, отображение и сокращение из многострочного текстового файла записи с новым APIHadoopFile

Я пытаюсь решить проблему, похожую наэта почта, Мои исходные данные - это текстовый файл, который содержит значения (наблюдения) нескольких датчиков. Каждое ...

Вперед заполнить пропущенные значения в Spark / Python

Я пытаюсь заполнить пропущенные значения в моем фрейме данных Spark предыдущим ненулевым значением (если оно существует). Я делал подобные вещи в Python / Pa...

Spark на Windows - что такое winutils и зачем он нам нужен?

Мне любопытно! Насколько мне известно, для работы HDFS требуются процессы датоде, и поэтому он работает только на серверах. Spark может работать локально, но...

Доступ к файлам, которые начинаются с подчеркивания в apache spark

Более эффективный запрос, чтобы избежать OutOfMemoryError в Hive

Я получаю java.lang.OutOfMemoryError: превышен предел накладных расходов GC в Hive. В поиске я обнаружил, что это происходит потому, что 98% всего процессорн...

Требуется ли файл keytab при использовании --negotiate with curl?

документация описание того, как подключиться к защищенной конечной точке Kerberos, показывает следующее: