Am Sonntag, den 16. September um 17:05 Uhr erreichten uns Meldungen unseres Monitoringsystems, dass einige Services am Standort FRA3 gar nicht, andere nur sporadisch erreichbar sind. Also erst einmal den Hund vertrösten dass man heute ein wenig später mit ihm raus geht. Dann ein erster Blick ins Monitoring, der zeigt, dass es keinen speziellen Host betrifft, sondern den ganzen Standort.

Durch Messungen von anderen Standorten war ein extremer Packet-Loss zu erkennen, was in der Regel auf eine DDoS-Attacke hindeutet. Also gleich ein Ticket bei unserem Rechenzentrumsanbieter (in diesem Fall Uvensys) aufmachen, denn wir haben an diesem Standort eine DDoS-Protection über einen Cloudservice - so der Plan. Leider war das Ticketsystem nicht erreichbar was auf ein echtes Problem vor Ort hindeutete. Also folgte der Griff zum Telefon und nach wenigen Sekunden und einem kurzen “Hi!” waren wir beim Thema. Es bestätigte sich, dass wir es mit einer DDoS-Attacke zu tun haben, die so massiv ist, dass die maximale Bandbreite aller Anbindungen an diesen Standort weit überschritten ist.

Die Stromversorgung in Rechenzentren ist stabil - das ist unsere Erfahrung, die wir in den letzten 15 Jahren machen durften. Am Freitag den 14. September gegen 12:50 Uhr erlebten wir dann einen für uns bis dato unbekannten Zwischenfall, der uns bewies, dass es mehr gibt als Strom an/Strom aus.

Wenn das lokale Versorgungsunternehmen doch mal Schwierigkeiten mit der Stromversorgung hat, stehen redundante Dieselgeneratoren zur Stelle, die den Standort permanent mit Strom versorgen können. Dies geht natürlich nur, wenn der Tankwagen täglich Nachschub an Diesel liefert :) Bei einem plötzlichen Ausfall der Stromversorgung kommen als Puffer riesige Batteriepools zum Einsatz, die das Rechenzentrum so lange mit Strom versorgen, bis die Generatoren dies übernehmen. Eigentlich eine einfach und sichere Sache die auch in regelmäßigen Intervallen getestet wird um sicherzustellen das Spiel Stromversorger -> Batterien -> Dieselgeneratoren reibungslos funktioniert.

Am Mittwochabend des 9. März meldete unser Monitoring, dass einer unserer Backupserver nicht mehr zu erreichen ist. Nachdem auch Loginversuche über die Remote-Management-Karte (IPMI) nicht möglich waren, blieb uns nur der Weg des Neustarts des Systems. Auf diesem Backupserver befanden sich zum Zeitpunkt des Ausfalls die Dateisystem-Backups von 11 Uberspace-Hosts.

Nach dem Reboot haben wir festgestellt, dass eine der vier Backuppartitionen Fehler aufwies, weshalb die Partition dann wieder ausgehängt wurde um eine Überprüfung des Dateisystems durchzuführen. Gesagt, getan.