Проверка контрольной суммы в Hadoop
Нужно ли проверять контрольную сумму после того, как мы переместим файлы в Hadoop (HDFS) с сервера Linux через Webhdfs?
Я хотел бы убедиться, что файлы на HDFS не имеют повреждений после их копирования. Но нужна ли контрольная сумма?
Я читаю, что клиент делает контрольную сумму перед записью данных в HDFS.
Может ли кто-нибудь помочь мне понять, как я могу убедиться, что исходный файл в системе Linux совпадает с загруженным файлом в Hdfs с помощью webhdfs.