Результаты поиска по запросу "hdfs"
Размер блока данных в HDFS, почему 64 МБ?
Размер блока данных по умолчанию HDFS / hadoop составляет 64 МБ. Размер блока на диске обычно составляет 4 КБ. Что означает размер блока 64 МБ? -> Означает ли это, что наименьшая единица чтения с диска составляет 64 МБ? Если да, в чем ...
Как вывести список всех файлов в каталоге и его подкаталогах в hadoop hdfs
У меня есть папка в hdfs, в которой есть две подпапки, каждая из которых имеет около 30 подпапок, и, наконец, каждая содержит XML-файлы. Я хочу перечислить в...
Hadoop:… реплицироваться на 0 узлов вместо minReplication (= 1). Работает 1 датодода (-ов), и ни один из узлов не исключен из этой операции.
При попытке записи в HDFS как часть моего многопоточного приложения я получаю следующую ошибку
Имя узла находится в безопасном режиме. Не может уйти
root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode.не в состоянии создать что-либо в hdfs я сделал root# bin/hadoop fs -safemode leaveНо ...
Запись в несколько выходов по ключу Spark - одно задание Spark
Как вы можете писать на несколько выходов в зависимости от ключа, используя Spark в одном задании.Связанные с:Запись в несколько выходов по ключу Scalding Ha...
Масштабируемое хранилище изображений
В настоящее время я разрабатываю архитектуру для веб-приложения, которое также должно обеспечивать хранение изображений. Пользователи смогут загружать фотографии как одну из ключевых функций сервиса. Также просмотр этих изображений будет одним из ...