Ich habe ein System, das Protokolldateien von verschiedenen Stellen über http empfängt (> 10k Produzenten, 10 Protokolle pro Tag, jeweils ~ 100 Textzeilen).

Ich möchte sie speichern, um in der Lage zu sein, verschiedenes zu berechnen. Statistiken über sie jeden Abend, exportieren Sie sie (sortiert nach Ankunftsdatum oder Inhalt der ersten Zeile) ...

Meine Frage ist: Wie kann ich sie am besten aufbewahren?

Flache Textdateien (mit korrekter Sperre), eine Datei pro hochgeladene Datei, ein Verzeichnis pro Tag / ProduzentFlache Textdateien, eine (große) Datei pro Tag für alle Produzenten (Problem hier wird indiziert und gesperrt)Datenbanktabelle mit Text (MySQL wird aus internen Gründen bevorzugt) (pb mit DB-Löschung, da das Löschen sehr lang sein kann!)Datenbanktabelle mit einem Datensatz pro TextzeileDatenbank mit Sharding (eine Tabelle pro Tag), die eine einfache Datenbereinigung ermöglicht. (Dies ist eine Partitionierung. Die Version von MySQL, auf die ich Zugriff habe (dh die intern unterstützt wird), unterstützt dies jedoch nicht.)Dokumentbasierte Datenbank à la Couchdb oder Mongodb (Problem kann die Indizierung / Reife / Geschwindigkeit der Aufnahme sein)

Irgendein Rat ?