Formato de armazenamento no HDFS
Como o HDFS armazena dados?
Eu quero armazenar arquivos enormes de forma comprimida.
Por exemplo: tenho 1,5 GB de arquivo, com fator de replicação padrão de 3.
Requer (1,5) * 3 = 4,5 GB de espaço.
Eu acredito que atualmente não há compressão implícita de dados.
Existe uma técnica para compactar o arquivo e armazená-lo no HDFS para economizar espaço em disco?