Tengo un sistema que está recibiendo archivos de registro de diferentes lugares a través de http (> 10k productores, 10 registros por día, ~ 100 líneas de texto cada uno).

Me gustaría almacenarlos para poder calcular varios. estadísticas sobre ellos cada noche, exportarlos (ordenados por fecha de llegada o contenido de primera línea) ...

Mi pregunta es: ¿cuál es la mejor manera de almacenarlos?

Archivos de texto plano (con bloqueo adecuado), un archivo por archivo cargado, un directorio por día / productorArchivos de texto plano, un archivo (grande) por día para todos los productores (el problema aquí será la indexación y el bloqueo)Tabla de base de datos con texto (se prefiere MySQL por razones internas) (pb con DB purgado, ya que eliminar puede ser muy largo)Tabla de base de datos con un registro por línea de textoBase de datos con fragmentación (una tabla por día), que permite la purga de datos simple. (esto es partición. Sin embargo, la versión de mysql a la que tengo acceso (es decir, compatible internamente) no lo admite)Documento basado en DB à la couchdb o mongodb (el problema podría ser la indexación / madurez / velocidad de ingestión)

Algún consejo ?