Armazenamento de muitos arquivos de log

Eu tenho um sistema que está recebendo arquivos de log de diferentes lugares através de http (> 10k produtores, 10 logs por dia, ~ 100 linhas de texto cada).

Eu gostaria de armazená-los para poder calcular misc. estatísticas sobre elas todas as noites, exporte-as (ordenadas por data de chegada ou conteúdo de primeira linha) ...

Minha pergunta é: qual é a melhor maneira de armazená-los?

Arquivos de texto simples (com bloqueio adequado), um arquivo por arquivo enviado, um diretório por dia / produtorArquivos de texto simples, um (grande) arquivo por dia para todos os produtores (o problema aqui será indexação e bloqueio)Tabela de banco de dados com texto (o MySQL é preferido por razões internas) (pb com DB purge como delete pode ser muito longo!)Tabela de banco de dados com um registro por linha de textoBanco de dados com sharding (uma tabela por dia), permitindo a limpeza simples de dados. (isso é particionamento. No entanto, a versão do mysql que eu tenho acesso (ou seja, suportado internamente) não suporta isso)Documento baseado em DB à la couchdb ou mongodb (o problema pode estar na indexação / maturidade / velocidade de ingestão)

Algum conselho?