Hadoop:… реплицироваться на 0 узлов вместо minReplication (= 1). Работает 1 датодода (-ов), и ни один из узлов не исключен из этой операции.

При попытке записи в HDFS как часть моего многопоточного приложения я получаю следующую ошибку

could only be replicated to 0 nodes instead of minReplication (=1).  There are 1 datanode(s) running and no node(s) are excluded in this operation.

Я попробовал самый лучший ответ здесь, переформатировать, но это не работает для меня:Ошибка HDFS: может быть реплицирована только на 0 узлов, а не на 1

Что происходит, это:

Мое приложение состоит из 2 потоков, каждый из которых настроен со своими собственными данными Spring.PartitionTextFileWriterПоток 1 первым обрабатывает данные и может успешно записывать в HDFSТем не менее, как только поток 2 начинает обрабатывать данные, я получаю эту ошибку, когда он пытается сбросить в файл

Потоки 1 и 2 не будут записывать в один и тот же файл, хотя они совместно используют родительский каталог в корне моего дерева каталогов.

На моем сервере нет проблем с дисковым пространством.

Я также вижу это в моих журналах имен узлов, но не уверен, что это значит:

2016-03-15 11:23:12,149 WARN org.apache.hadoop.hdfs.server.blockmanagement.BlockPlacementPolicy: Failed to place enough replicas, still in need of 1 to reach 1 (unavailableStorages=[], storagePolicy=BlockStoragePolicy{HOT:7, storageTypes=[DISK], creationFallbacks=[], replicationFallbacks=[ARCHIVE]}, newBlock=true) For more information, please enable DEBUG log level on org.apache.hadoop.hdfs.server.blockmanagement.BlockPlacementPolicy
2016-03-15 11:23:12,150 WARN org.apache.hadoop.hdfs.protocol.BlockStoragePolicy: Failed to place enough replicas: expected size is 1 but only 0 storage types can be selected (replication=1, selected=[], unavailable=[DISK], removed=[DISK], policy=BlockStoragePolicy{HOT:7, storageTypes=[DISK], creationFallbacks=[], replicationFallbacks=[ARCHIVE]})
2016-03-15 11:23:12,150 WARN org.apache.hadoop.hdfs.server.blockmanagement.BlockPlacementPolicy: Failed to place enough replicas, still in need of 1 to reach 1 (unavailableStorages=[DISK], storagePolicy=BlockStoragePolicy{HOT:7, storageTypes=[DISK], creationFallbacks=[], replicationFallbacks=[ARCHIVE]}, newBlock=true) All required storage types are unavailable:  unavailableStorages=[DISK], storagePolicy=BlockStoragePolicy{HOT:7, storageTypes=[DISK], creationFallbacks=[], replicationFallbacks=[ARCHIVE]}
2016-03-15 11:23:12,151 INFO org.apache.hadoop.ipc.Server: IPC Server handler 8 on 9000, call org.apache.hadoop.hdfs.protocol.ClientProtocol.addBlock from 10.104.247.78:52004 Call#61 Retry#0
java.io.IOException: File /metrics/abc/myfile could only be replicated to 0 nodes instead of [2016-03-15 13:34:16,663] INFO [Group Metadata Manager on Broker 0]: Removed 0 expired offsets in 1 milliseconds. (kafka.coordinator.GroupMetadataManager)

Что может быть причиной этой ошибки?

Спасибо

Ответы на вопрос(9)

Ваш ответ на вопрос