Mam system, który odbiera pliki dziennika z różnych miejsc za pośrednictwem http (> 10 tys. Producentów, 10 dzienników dziennie, ~ 100 wierszy tekstu każdy).

Chciałbym je przechowywać, aby móc obliczyć misc. statystyki na ich temat, eksportuj je (uporządkowane według daty przyjazdu lub treści pierwszej linii) ...

Moje pytanie brzmi: jaki jest najlepszy sposób ich przechowywania?

Płaskie pliki tekstowe (z odpowiednim blokowaniem), jeden plik na przesłany plik, jeden katalog na dzień / producentaPłaskie pliki tekstowe, jeden (duży) plik dziennie dla wszystkich producentów (problem będzie dotyczył indeksowania i blokowania)Tabela bazy danych z tekstem (MySQL jest preferowany z powodów wewnętrznych) (pb z usuwaniem DB jako usuwanie może być bardzo długi!)Tabela bazy danych z jednym rekordem na wiersz tekstuBaza danych z shardingiem (jedna tabela dziennie), umożliwiająca proste usuwanie danych. (to jest partycjonowanie. Jednak wersja mysql, do której mam dostęp (tzn. obsługiwana wewnętrznie) nie obsługuje tego)DB oparty na dokumencie à la couchdb lub mongodb (problem może polegać na indeksowaniu / dojrzałości / szybkości przyjmowania)

Jakakolwiek rada ?