Wir haben damit begonnen, eine Plattform von Drittanbietern (GigaSpaces) zu verwenden, die uns beim verteilten Rechnen hilft. Eines der Hauptprobleme, das wir jetzt zu lösen versuchen, ist die Verwaltung unserer Protokolldateien in dieser verteilten Umgebung. Derzeit haben wir das folgende Setup.

Unsere Plattform ist auf 8 Maschinen verteilt. Auf jedem Computer gibt es 12-15 Prozesse, die mithilfe von java.util.logging in separate Protokolldateien protokollieren. Auf dieser Plattform haben wir unsere eigenen Anwendungen, die log4j und log verwenden, um Dateien zu trennen. Wir leiten stdout auch in eine separate Datei um, um Thread-Dumps und ähnliches abzufangen.

Dies führt zu ca. 200 verschiedenen Protokolldateien.

Derzeit verfügen wir über keine Tools zur Verwaltung dieser Dateien. In den folgenden Fällen bereitet uns dies ernsthafte Kopfschmerzen.

Fehlerbehebung, wenn wir nicht vorher wissen, in welchem Prozess das Problem aufgetreten ist. In diesem Fall loggen wir uns derzeit mit ssh auf jeder Maschine ein und starten mitgrep.

Versuchen Sie, proaktiv zu sein, indem Sie die Protokolle regelmäßig auf ungewöhnliche Ereignisse überprüfen. In diesem Fall melden wir uns auch aktuell bei allen Rechnern an und schauen uns verschiedene Protokolle mit @ aless undtail.

Einrichten von Warnungen. Wir möchten Warnungen für Ereignisse einrichten, die einen bestimmten Schwellenwert überschreiten. Dies scheint mit 200 zu überprüfenden Protokolldateien ein Problem zu sein.

Heute haben wir nur ungefähr 5 Protokollereignisse pro Sekunde, aber das wird zunehmen, wenn wir mehr und mehr Code auf die neue Plattform migrieren.

Ich möchte der Community die folgenden Fragen stellen.

Wie haben Sie ähnliche Fälle mit vielen Protokolldateien gehandhabt, die auf mehrere Computer verteilt und über verschiedene Frameworks protokolliert wurden?Warum hast du diese spezielle Lösung gewählt?Wie haben Ihre Lösungen funktioniert? Was fandest du gut und was fandest du schlecht?

Danke vielmals

Aktualisiere

Am Ende haben wir eine Testversion von Splunk getestet. Wir sind sehr zufrieden mit der Funktionsweise und haben uns für den Kauf entschieden. Einfache Einrichtung, schnelle Suche und jede Menge Funktionen für technisch Neugierige. Ich kann jedem in ähnlichen Situationen empfehlen, es zu überprüfen.