DDoS - diesmal wirklich heftig (Part 1/n)

Am Sonntag, den 16. September um 17:05 Uhr erreichten uns Meldungen unseres Monitoringsystems, dass einige Services am Standort FRA3 gar nicht, andere nur sporadisch erreichbar sind. Also erst einmal den Hund vertrösten dass man heute ein wenig später mit ihm raus geht. Dann ein erster Blick ins Monitoring, der zeigt, dass es keinen speziellen Host betrifft, sondern den ganzen Standort.

Durch Messungen von anderen Standorten war ein extremer Packet-Loss zu erkennen, was in der Regel auf eine DDoS-Attacke hindeutet. Also gleich ein Ticket bei unserem Rechenzentrumsanbieter (in diesem Fall Uvensys) aufmachen, denn wir haben an diesem Standort eine DDoS-Protection über einen Cloudservice - so der Plan. Leider war das Ticketsystem nicht erreichbar was auf ein echtes Problem vor Ort hindeutete. Also folgte der Griff zum Telefon und nach wenigen Sekunden und einem kurzen “Hi!” waren wir beim Thema. Es bestätigte sich, dass wir es mit einer DDoS-Attacke zu tun haben, die so massiv ist, dass die maximale Bandbreite aller Anbindungen an diesen Standort weit überschritten ist.


Die Sache mit dem Strom

Die Stromversorgung in Rechenzentren ist stabil - das ist unsere Erfahrung, die wir in den letzten 15 Jahren machen durften. Am Freitag den 14. September gegen 12:50 Uhr erlebten wir dann einen für uns bis dato unbekannten Zwischenfall, der uns bewies, dass es mehr gibt als Strom an/Strom aus.

Wenn das lokale Versorgungsunternehmen doch mal Schwierigkeiten mit der Stromversorgung hat, stehen redundante Dieselgeneratoren zur Stelle, die den Standort permanent mit Strom versorgen können. Dies geht natürlich nur, wenn der Tankwagen täglich Nachschub an Diesel liefert :) Bei einem plötzlichen Ausfall der Stromversorgung kommen als Puffer riesige Batteriepools zum Einsatz, die das Rechenzentrum so lange mit Strom versorgen, bis die Generatoren dies übernehmen. Eigentlich eine einfach und sichere Sache die auch in regelmäßigen Intervallen getestet wird um sicherzustellen das Spiel Stromversorger -> Batterien -> Dieselgeneratoren reibungslos funktioniert.


Usertreffen

Wir wollen mit euch fachsimpeln, Spaß haben, trinken, essen, lachen, tanzen!

Die Verantwortung der freien Preiswahl

Der Anlass

Wir haben vor einger Zeit begonnen, User, die weit unter unserer Preisempfehlung von 5€ / Monat bezahlen, darauf hinzuweisen, dass wir uns etwas mehr wünschen. Hier ein Auszug aus der Mail:

Du hast derzeit einen Wunschpreis von 1,00 € eingestellt, der deutlich unter unserem Preisvorschlag von 5,00 € monatlich liegt. Wir möchten dich daran erinnern, dass du unseren Dienst nur zu diesem Preis in Anspruch nehmen kannst, weil andere User freiwillig einen höheren als den vorgeschlagenen Preis bezahlen und dir den Account so querfinanzieren. Wir erhoffen uns davon, dass diejenigen, die es sich leisten können, andere User, die sich das nicht leisten können, mit tragen.


Firmware-Update durchs Schlüsselloch

Gestern haben wir uns daran begeben, zwei neue Router in Betrieb zu nehmen und standen vor einer Blockade. Aus der Ferne konnten wir nur per serieller Konsole auf die Geräte zugreifen, weil der der Netzwerkanschluss noch nicht funktionierte.

HTTPS-Ausfall von 4 Hosts am 6.6.2018

Magie ist kompliziert - aber halt auch cool. Auf Uberspace 7 setzen wir auf ein klein wenig Magie, um Let’s Encrypt Zertifikate für alle eure Domains zu holen. Das klappt auch voll gut! … meistens.

tldr-intermezzo: HTTPS für User-Domains (also alle relevanten) ist vom 6.6.2018 4 bis circa 8 Uhr auf 4 Hosts (whipple, taylor, kojima und klemola) ausgefallen. Es handelte sich dabei um einen einmaligen Fehler und kein generelles Problem. Fürs Warum und zukünftige Gegenmaßnahmen, einfach weiterlesen.


Über Auftragsverarbeitung

First things first: Es gibt nun einen fertigen Vertrag zur Auftragsverarbeitung, der den Segen unseres externen Datenschutzbeauftragen bekommen hat. Du findest ihn unter https://uberspace.de/dpa und wir haben alles vorbereitet, damit du ihn Anfang ab nächster Woche im Dashboard per Klick abschließen kannst. Du kannst ihn insofern bereits lesen und prüfen oder prüfen lassen, beispielsweise durch deinen Datenschutzbeauftragten, und dann nächste Woche deinen Klick setzen.

Was noch fehlt, ist die Abnahme unseres Entwurfs zur Dokumentation der technischen und organisatorischen Maßnahmen durch unseren externen Datenschutzbeauftragten - dessen Workload, wie man sich vielleicht vorstellen kann, im Rahmen allgemeiner DSGVO-Panik gerade durch die Decke geht und der wundersamerweise dennoch Zeit findet, sich jedwedes Dokuments innerhalb von 2-3 Werktagen anzunehmen. Die vorige von uns gelieferte Fassung fand bereits Zuspruch und bedurfte nur noch geringer Änderungen an der Struktur des Dokuments, so dass die letzte Abnahme nur noch eine Formalität ist.


DSGVO, wir kommen!

Die Datenschutzgrundverordnung (DSGVO), die vor knapp zwei Jahren eingeführt und europaweit ab dem 25.05.2018 anwendbar wird, hat bei uns wie auch bei vielen anderen zu Fragen und Unsicherheiten geführt. Nun sind wir aber langsam aber sicher auf der Zielgeraden, die nötigen Vorgaben fristgerecht umzusetzen. Dazu gehört neben diversen neuen Dokumentationspflichten insbesondere die Bereitstellung eines Vertrags zur Auftragsverarbeitung, der aktuell in Kooperation mit unserem externen Datenschutzbeauftragen finalisiert wird und mit dem voraussichtlich in der nächsten Woche gerechnet werden kann.


⚛️ Uberlab

Kann man bei euch eigentlich…

Ein Klassiker im Support ist die Frage, ob und wie man bei uns Dinge wie Wordpress, Ghost, Nextcloud, (…) möglichst einfach installieren kann. Die Antwort ist meistens “klar geht das, wir haben das im Wiki verlinkt oder schau doch mal bei der Suchmaschine deiner Wahl.” Viele von euch schreiben Anleitungen für die Installation, die dann aber irgendwo veröffentlicht werden müssen. Wir haben da bisher immer darum gebeten, im Zweifelsfall selbst eben einen Blog aufzusetzen oder den Artikel als Gastbeitrag in einem anderen Blog zu veröffentlichen. Das hat natürlich Grenzen und nicht jeder hat Lust und Zeit dazu, für eine einzelne Anleitung gleich einen eigenen Blog aufzusetzen. Das ist mehr als verständlich und so verstaubt sicherlich die eine oder andere Anleitung unveröffentlicht auf lokalen FestplattenSSDs. Das muss doch irgendwie anders gehen…


Reboot tut (nicht immer) gut

TLDR: Es gab heute um 13:15 einen ungeplanten Reboot und eine damit verbundene, sehr kurze Downtime bei allen U7-Hosts. Grund war, dass wir wegen einem journald-Bug einen Reboot benötigt haben, diesen aber (intern) nicht sauber kommuniziert haben: Code ausgerollt, zack Reboot! Das tut uns leid und sollte in Zukunft nicht mehr passieren. Mehr dazu weiter unten.


Heute am 22.01.2018 gegen 13:15 wurden alle unsere Uberspace 7 Hosts nicht 100% geplant rebootet. Die meisten Hosts waren nach weniger als zwei Minuten wieder da; geplant oder gar angekündigt war der kurze Ausfall allerdings dennoch nicht. Wir möchten euch in diesem Blogpost darlegen, wie es überhaupt dazu gekommen ist.