У меня есть система, которая получает файлы журналов из разных мест через http (& gt; 10 тыс. Производителей, 10 журналов в день, ~ 100 строк текста каждый).

Я хотел бы хранить их, чтобы иметь возможность вычислять разное. статистика по ним ночью, экспорт их (упорядочено по дате прибытия или по содержанию первой строки) ...

Мой вопрос: как лучше всего их хранить?

Flat text files (with proper locking), one file per uploaded file, one directory per day/producer Flat text files, one (big) file per day for all producers (problem here will be indexing and locking) Database Table with text (MySQL is preferred for internal reasons) (pb with DB purge as delete can be very long !) Database Table with one record per line of text Database with sharding (one table per day), allowing simple data purge. (this is partitioning. However the version of mysql I have access to (ie supported internally) does not support it) Document based DB à la couchdb or mongodb (problem could be with indexing / maturity / speed of ingestion)

Любой совет ?