LL#2 – Liebes Logbuch…
Wie lässt sich sozialer Zusammenhalt schaffen, wenn man in der Regel nur remote zusammenarbeitet? Kurz gesagt, eine definitive Antwort haben wir darauf auch nicht, aber wir probieren immer wieder Dinge aus. Eins davon war der “Open Friday”, ein regelmäßiger Termin, wo für uns einen Freitagnachmittag freigehalten haben, um 1-2 thematische Sessions zu machen, die nicht unmittelbar mit der Arbeit zu tun haben - mal ging’s um Grundlagen der Fotografie, mal um Erfahrungen mit Brotbacken, mal wurde aus einem privaten Ehrenamt erzählt, mal haben wir uns gegenseitig unsere Lieblingstools - elektronisch oder auch physisch - vorgestellt. Das hat oft viel Spaß gemacht, aber sich mit der Zeit ein wenig totgelaufen: Trotz niedriger Hürde, in dieser Runde etwas aus dem nicht beruflichen Alltag zu teilen, hatten sich zuletzt immer seltener Beiträge finden lassen, und so haben wir beschlossen, diesen Termin in unseren Kalendern erstmal abzureißen, ebenso wie einen alle zwei Wochen mittwochnachmittags stattfindenden “Telekaffee”. Was wir bei unserem Teamtreffen sehr deutlich gemerkt haben: Die meisten von uns dürsten zwar nach sozialer Aktivität - aber für die wenigsten von uns liefern Online-Formate dann tatsächlich das Gefühl von Zusammenhalt, das wir uns wünschen. Wir ziehen für uns daraus, dass gegenseitige Besuche in nächster Zeit erstmal wieder verstärkt dran sind, und unser bahn.business-Konto verzeichnet entsprechend schon wieder rege Ticketbuchungen. Trotz wehmütiger Gedanken an schöne Freitage: Es ist je nach Kontext oft keine Schande, etwas abzureißen, was einfach nicht mehr gut funktioniert, und zwar auch ohne schon den neuen, besseren Plan in der Schublade zu haben. Damit verbunden heißt es aber auch: darauf zu achten, welche Bedürfnisse sich nun wieder in den Vordergrund schieben - und jene zu artikulieren, damit sich daraus Neues entwickeln lässt.
Und damit auf ins Rechenzentrum: Unser Partner uvensys hat einen älteren Router ausgemustert und dazu nach entsprechender Ankündigung einen unserer Uplinks auf einen neuen umgezogen. Eine gute Gelegenheit, um nicht nur sicherzustellen, dass die Redundanz gut funktioniert und somit nach außen hin nichts ausfällt, sondern auch, um zu verifizieren, ob unser Monitoring verlässlich erkennt, dass hier eine BGP-Session weg ist. Hat alles wie erwartet funktioniert - ist natürlich trotzdem ein gutes Gefühl, es auch mal in der Praxis erlebt zu haben.
Apropos Praxis: Unser Operations-Team hat sich jüngst in Frankfurt getroffen, um mal wieder eine Auffrischung der Vor-Ort-Kenntnisse zu absolvieren und bei der Gelegenheit auch alte Transponder und Schlüssel abzugeben und neue zu erhalten. Manchmal ist es gut, einen Ort nochmal durch die Augen von jemandem zu betrachten, der ihn noch gar nicht kennt, mit einem Katalog voller Fragen: Wie genau kommt man eigentlich zu den Rechenzentren? Wo lässt sich gut parken? Wie kommt man mit dem Bus hin? Wie meldet man sich vorher an, bzw. muss man das überhaupt? Welche Transponder oder Schlüssel muss man mitnehmen? Wie läuft der Check-In-Prozess vor Ort ab? Wie finden wir eigentlich die Räume mit unseren Racks drin - in einem großen Komplex mit mehreren Gebäuden, diversen Stockwerken, verwinkelten Fluren..? Welches WLAN kann ich im Gebäude nutzen? Wo finde ich Schraubendreher und Kabel? Wie handhabe ich das Ersatzteillager? All dieses Wissen ist nun nicht nur persönlich vor Ort wieder einmal aufgefrischt, sondern auch die Dokumentation für alle unsere drei Standorte umfangreich ausgebaut und einheitlich strukturiert. Und weil’s so schön ist, fällt natürlich auch sonst immer mal ausgesprochen physische Arbeit im Rechenzentrum an - wie zum Beispiel der Austausch eines defekten Netzteils in einem Backupserver (mit redundanten Netzteilen, daher ausfallfrei) oder das Auswechseln einer defekten SSD im Storagecluster.
Nachdem unsere Sparkasse Mainz mit einer anderen regionalen Sparkasse zur Rheinhessen Sparkasse (nur echt mit Leerzeichen dazwischen) fusioniert ist, haben sich auch technisch einige Umstellungen ergeben, die erst nach der Fusion aufgefallen sind - unter anderem daran, dass wir über FinTS von Echtzeit-Überweisungen plötzlich keine IBANs mehr erhalten haben. Stellt sich raus, man muss “einfach” nur vom alten MT940-Format für die Übermittlung von Kontotransaktionen auf das neue camt.53-Format umstellen - was einem vorher niemand sagt, und was hinterher in etlichen Anpassungen resultierte, weil schlicht einige Feldbezeichnungen nun anders heißen als vorher. Nach einer koffeinreichen Nacht klappt das automatisierte Buchen von Überweisungen nun aber wieder sauber.
Auch beim Monitoring gibt’s wieder Fortschritte: Etliche HTTPS-Zertifikate für interne Dienste, für deren Ablaufdatum wir bereits Metriken erfasst hatten, generieren nun auch Alarme im Fall der Fälle. Eigentlich sollten da zwar alle Aktualisierungen automatisch laufen, aber falls z.B. mal ein Cronjob aus irgendwelchen Gründen klemmen sollte, kriegen wir es nun mit, bevor es ein Problem wird. Und eine Altlast, die für U7 schon längst nicht mehr im Einsatz war, aber für einige interne Systeme noch, ist nun Geschichte: Icinga2, mit dem wir lange Zeit unser Monitoring gemacht haben, ist nun vollständig abgeräumt, nachdem alle verbliebenen Checks in Prometheus-Metriken überführt wurden, aus denen wir nun hübsche Graphen mit Grafana zeichen können und die uns mittels Alertmanager auch alarmieren können. Und weil uns auch wichtig ist, dass unsere 24/7-Bereitschaft möglichst nicht für Dinge rausgeklingelt wird, die auch entspannt am Tag hätten erledigt werden können, findet unser Speicherplatz-Monitoring nun zweistufig statt: Geht einer Disk langsam der Platz aus, gibt es nun bei etwas großzügigeren Schwellwerten schon tagsüber einen Alarm mit niedriger Priorität, so dass wir eingreifen können, um zu vermeiden, dass erst nachts oder am Wochenende jemand rausgeklingelt werden muss, weil ein dann entsprechend knapperer Schwellwert erst dann erreicht würde.
Mehr Autarkie: Während wir für die Domain uberspace.de seit jeher eigene Mail-Infrastruktur betreiben, haben wir für die Domain jonaspasche.com, über die die Betreuung unserer Serverkunden läuft, historisch bedingt noch das Business-Workplace-Produkt von Google eingesetzt. Das ist nun Geschichte, und der gesamte Mailverkehr läuft nun ebenfalls über unsere eigene Mail-Infrastruktur, mitsamt der ganzen netten Features, die wir für U7 längst gebaut hatten, wie dem rspamd-basierten Spamfilter oder der serverseitigen Unterstützung für Sieve-Filterregeln.
Im Interesse eines möglichst schmerzfreien Versionsübergangs haben wir anlässlich des demnächst anstehenden End-of-Life-Termins von PHP 7.4 einen Prozess entwickelt, bei dem wir zunächst mit einem Monat Vorlauf Informationsmails an die betreffenden Userinnen rausschicken und dort ankündigen, dass wir zum EOL-Termin die PHP-Version jener Accounts entsprechend hochsetzen werden. Dafür waren einige interne Entwicklungen notwendig, insbesondere ein Tool, um nicht nur zu ermitteln, welche Accounts noch PHP 7.4 eingestellt haben, sondern auch, welche davon überhaupt aktiv PHP nutzen, denn nicht wenige tun das überhaupt nicht und wir wollten jene dann nicht unnötig belästigen. Inzwischen sind alle Informationsmails in drei Batches rausgegangen und der Rücklauf im Support mit dazu gemeldeten Problemen erfreulich gering, was wohl auch darauf zurückzuführen ist, dass die meisten aktuellen PHP-Applikationen ohnehin schon längst mit PHP 8.x kompatibel sind.
Und noch ein kleiner Werkstatteinblick zum Schluss: Vier von uns haben in Kiel ein paar Tage die Köpfe in den „Uberspace Studios“ zusammengesteckt und an einem ersten Prototyp für unsere kommenden Videotutorials gearbeitet. Ein erstes Skript (Thema SSH-Keys) und alle Aufnahmen sind im Kasten und müssen jetzt „nur“ noch zusammengefügt werden. Damit haben wir dann eine gute Grundlage, um bei dem Thema weiterzukommen und zu sehen, was es dafür überhaupt braucht.
Das war’s erstmal wieder für heute - der eine oder andere längere Urlaub steht hier und da im Team an, während der Alltag gerade recht gut schnurrt. Wir lesen uns an dieser Stelle dann wieder in schätzungsweise 2-3 Wochen!
J.