Wir legen in unserer Entwicklung großen Wert auf Sicherheit. Jedes Stück Code läuft durch ein Code-Review, Designs werden (meistens) erst durchgesprochen und dann umgesetzt. Normalerweise kommen wir damit auch gut weg und haben uns in der Firmenhistorie nur wenige relevante Lücken erlaubt. Keine davon wurde unseres Wissens nach aktiv ausgentutzt, sondern durch User reported. Eine solche Report-Mail erreichte uns gestern.

tldr: Ein User hat eine Lücke in unserem PHP-Setup gefunden, die es Usern ermöglicht über den Webserver Code im Kontext anderer User auf dem selben Host auszuführen. Wir haben diese Lücke gestern kurz nach Eingang der Meldung gestopft; sie wurde unseres Wissens nach nie aktiv ausgenutzt. Es besteht keine Gefahr für die Zivilbevölkerung.

systemd ist ja ganz schön geil, finden wir. systemd kann einen ganz schön in den Hintern beißen, finden wir auch. So ist uns das gestern Nacht auf dem U7-Host kohoutek passiert. Warum der Host zwei Stunden lang nicht vollständig erreichbar war könnt ihr hier nachlesen.

Am 08.01. haben wir ein vergleichsweise großes Update für das Netzwerk-System unserer Hosts sowie unsere HTTP-nginx/httpd-Infrastruktur ausgerollt. Mehr dazu in einem weiteren Blogpost in den nächsten Tagen. Die allermeisten Hosts haben das gut vertragen, nicht aber kohoutek: Der reagierte nicht mehr auf SSH und die Serielle Console der VM war auch nur schwierig zu erreichen.

In loser Folge stellen wir euch die Leute vor, die Uberspace für euch machen. Heute: Mo, der eigentlich Moritz heißt, aber nicht mit dem anderen Moritz im Team zu verwechseln ist. Mo kritzelt aufregende Grafiken auf seinem Tablet und sorgt dafür, dass Uberspace nicht nur praktisch ist, sondern auch immer schöner aussieht. Jonas hat ihn interviewt.

Wo treibst du dich denn gerade herum, Mo?

Ich bin seit ein paar Tagen in Vietnam. Aus Saigon bin ich direkt auf die eher ruhige Insel Côn Đảo geflüchtet. Abschalten werde ich aber erst in der zweiten Hälfte meiner Reise. Ich habe mir Arbeit mitgenommen und bin dafür etwas länger unterwegs. Dass das so funktioniert genieße ich total!

In loser Folge stellen wir euch die Leute vor, die Uberspace für euch machen. Heute trifft es Kim, mit dem ihr wahrscheinlich bereits zu tun hattet, wenn ihr euch per Mail oder Twitter an unseren Support gewendet habt. Jonas hat ihn per Videochat interviewt.

Hey Kim! Oh, gar nicht im Büro heute?

Nein, heute nicht, denn meine beiden Fahrräder sind gerade zur Reparatur, deshalb arbeite ich heute von Zuhause aus. Ich habe im Moment einfach leider nicht viel Glück mit Fahrrädern, wie’s aussieht. Ansonsten arbeite ich aber durchaus gerne vom Büro aus.

Am Sonntag, den 16. September um 17:05 Uhr erreichten uns Meldungen unseres Monitoringsystems, dass einige Services am Standort FRA3 gar nicht, andere nur sporadisch erreichbar sind. Also erst einmal den Hund vertrösten dass man heute ein wenig später mit ihm raus geht. Dann ein erster Blick ins Monitoring, der zeigt, dass es keinen speziellen Host betrifft, sondern den ganzen Standort.

Durch Messungen von anderen Standorten war ein extremer Packet-Loss zu erkennen, was in der Regel auf eine DDoS-Attacke hindeutet. Also gleich ein Ticket bei unserem Rechenzentrumsanbieter (in diesem Fall Uvensys) aufmachen, denn wir haben an diesem Standort eine DDoS-Protection über einen Cloudservice - so der Plan. Leider war das Ticketsystem nicht erreichbar was auf ein echtes Problem vor Ort hindeutete. Also folgte der Griff zum Telefon und nach wenigen Sekunden und einem kurzen “Hi!” waren wir beim Thema. Es bestätigte sich, dass wir es mit einer DDoS-Attacke zu tun haben, die so massiv ist, dass die maximale Bandbreite aller Anbindungen an diesen Standort weit überschritten ist.

Die Stromversorgung in Rechenzentren ist stabil - das ist unsere Erfahrung, die wir in den letzten 15 Jahren machen durften. Am Freitag den 14. September gegen 12:50 Uhr erlebten wir dann einen für uns bis dato unbekannten Zwischenfall, der uns bewies, dass es mehr gibt als Strom an/Strom aus.

Wenn das lokale Versorgungsunternehmen doch mal Schwierigkeiten mit der Stromversorgung hat, stehen redundante Dieselgeneratoren zur Stelle, die den Standort permanent mit Strom versorgen können. Dies geht natürlich nur, wenn der Tankwagen täglich Nachschub an Diesel liefert :) Bei einem plötzlichen Ausfall der Stromversorgung kommen als Puffer riesige Batteriepools zum Einsatz, die das Rechenzentrum so lange mit Strom versorgen, bis die Generatoren dies übernehmen. Eigentlich eine einfach und sichere Sache die auch in regelmäßigen Intervallen getestet wird um sicherzustellen das Spiel Stromversorger -> Batterien -> Dieselgeneratoren reibungslos funktioniert.