OBERSTADT – Wo wohnt eigentlich das Internet der Universität? Die Frage stellte der bundesweite Tag der offenen Rechenzentren Anfang November in den Mittelpunkt. Erstmals machte auch die Johannes Gutenberg-Universität Mainz mit und öffnete ihr neues Rechenzentrum für Besucher.
Im Uni-Neubau, in Sichtweite der Mewa-Arena gelegen, pocht das digitale Herz der Uni, das zwei Bereiche vereint: die gesamte Campus-IT für Studium, Lehre und Verwaltung sowie die Supercomputer des Nationalen Hochleistungsrechnens. Ohne diese Infrastruktur gäbe es keine Lernplattformen, keine verlässliche E-Mail-Kommunikation und viele Forschungsprojekte in Mainz. Die Universität bot am Aktionstag drei Führungen an, die zeigen sollten, wie viel Technik die Technologie benötigt.
Der Rundgang glich aus Laiensicht der Lektüre eines Buchs mit sieben Siegeln. Er begann im sogenannten Enterprise-Raum. In diesem Raum sollten später die wichtigsten IT-Dienste der Uni laufen: E-Mails, Lernplattformen, Verwaltungsprogramme. Noch wirkte der Saal erstaunlich leer. Das neue Gebäude war erst im April übernommen worden, viele Systeme stehen noch im alten Rechenzentrum in den Naturwissenschaftlichen Fakultät. „Wir können die Uni-IT nicht einfach ein paar Tage abschalten“, erklärte Carsten Allendörfer, der technische Leiter des Zentrums für Datenverarbeitung. Der Umzug passierte Schritt für Schritt, bei laufendem Betrieb.
Die 32 Stellplätze für Serverschränke werden nach und nach bestückt. Die Verteilung auf beide Seiten des Raumes erlaubt die Nutzung verschiedener Stromschienen, unterschiedlicher Kühlwege und getrennter Zuleitungen. Fällt eine Seite aus, sollte die andere übernehmen können.
Damit die vielen Geräte nicht überhitzen, arbeitet der Enterprise-Raum mit einem sogenannten Warmgang – einem eingezäunten Gang aus Metall und Plexiglas. Die Server saugen an der Vorderseite kühlere Raumluft an, im Inneren erhitzt sich die Luft, hinten blasen die Geräte die heiße Luft in den geschlossenen Gang. Kühlmodule saugen die Luft dort ab, kühlen sie mit Wasser und geben sie wieder als normale Raumluft in den Saal zurück. Der Vorteil: Warme und kalte Luft mischen sich nicht, die Kühlung läuft deutlich effizienter. Im Gang selbst kann es über 35 Grad warm werden, etwa zehn Grad mehr als im restlichen Raum. Die Mitarbeitenden können trotzdem bei normaler Temperatur arbeiten, weil sie nur selten in den Gang hineinmüssen.
Foto: Peter Pulkowski
Über den Serverschränken verlaufen zwei dicke Stromschienen. Sie kommen von unterschiedlichen Umspannstationen und Transformatoren. In jedem Schrank werden sie wieder auf zwei getrennte Stromkreise aufgeteilt. So zieht sich die Redundanz – also die doppelte Absicherung – von der Mittelspannung am Gebäudeeingang bis zum einzelnen Gerät durch.
Der nächste Stopp war der Hochleistungsrechnerraum. Schon an der Tür wurde es deutlich lauter. „Wie Sie schon hören, der Geräuschpegel ist relativ hoch“, rief der Guide in die Runde. In langen Reihen standen dort die MOGON-Cluster, die Supercomputer der JGU. Wer durch eine offene Schranktür blickte, sah eng gepackte Module und viele Kabel: Stromleitungen, Schläuche für die Wasserkühlung, Netzwerkkabel. Auf einem Tisch zeigte Dr. Andreas Henkel, ein ausgebautes Modul. In diesem steckten vier sogenannte Rechenknoten, also vier Server.
Auch hier spielt die Wasserkühlung eine Rolle für die Prozessoren. Das Wasser fließt durch die Kühlplatte, nimmt dort die Wärme der CPUs auf und transportiert sie zurück in das Kühlsystem. Netzteile und andere Bauteile werden weiter mit Luft gekühlt. Jeder Rechenknoten besitzt zwei Prozessoren und eine schnelle SSD-Festplatte. Die Verbindung nach außen erfolgt über ein Netz mit 100 Gigabit pro Sekunde, was ein Vielfaches eines schnellen Glasfaseranschlusses zu Hause ist. Dahinter steht ein gemeinsamer Speicherverbund von rund 18 Petabyte, was grob mehreren Millionen HD-Filmen entspricht. Wer Rechenzeit beantragt, muss angeben, wie groß Rohdaten und Simulationsergebnisse voraussichtlich sein werden; danach richtet sich das zugeteilte Speicher- und Rechenkontingent.
Die Hochleistungsrechner tragen zwei Namen. MOGON-NHR ist Teil des bundesweiten Verbunds „Nationales Hochleistungsrechnen“, in dem neun Zentren gemeinsam Supercomputer bereitstellen. Forschende aus dem ganzen Land können über ein Portal Rechenzeit beantragen. Daneben steht MOGON-KI, ein Cluster mit vielen Grafikkarten, gedacht vor allem für die JGU und das Land Rheinland-Pfalz. Er ist kleiner, aber stark auf GPUs ausgelegt, geeignet für Aufgaben der Künstlichen Intelligenz oder bestimmte Simulationen. Viele Mainzer Arbeitsgruppen nutzen beide Wege, hieß es: Für kleinere Aufgaben buchen sie lokale Ressourcen, für besonders große Projekte stellen sie einen Antrag im bundesweiten Verbund.
Um die große Abwärme der Prozessoren aus dem Gebäude abzuführen, setzt das Rechenzentrum auf ein zwei parallele Wassersysteme. Ein Kaltwasserkreislauf mit rund 20 Grad sorgt dafür, dass die Raumluft etwa 22 bis 23 Grad hat und kühlt auch die luftgekühlten Enterprise-Server. Ein Warmwasserkreislauf mit rund 35 Grad fließt direkt durch die Kühlung der Prozessoren. Das Wasser kommt mit mehr als 45 Grad zurück, wird aufs Dach gepumpt und dort über große Kühler mit Außenluft wieder auf etwa 30 Grad gebracht. An rund 80 Prozent der Zeit reicht die Außentemperatur aus. Bei über 28 Grad aktueller Umgebungstemperatur müssen die Kühler mit Wasser besprüht werden, um die zusätzliche Kühlleistung aufzubringen. Dies ist energieeffizienter als die Kühlung mit großen Zusatzmaschinen. Fachleute sprechen von „freier Kühlung“.
Nach den Rechnern führte die Führung dorthin, wo der Strom ins Gebäude kommt und verteilt wird. In zwei Räumen sitzt die Niederspannungshauptverteilung, kurz NSHV – im Prinzip das, was für ein Einfamilienhaus der Zählerschrank ist, nur in sehr groß. Statt dicker Kabelstränge hängen an der Decke Stromschienen: dicke Aluminiumplatten, die bei benötigten Mengen günstiger als Kupfer sind, dienen als Leiter. Über diese Schienen gelangt der Strom in alle Räume. Der Enterprise-Raum erhält seine Versorgung gleich von zwei Seiten: von zwei getrennten NSHV-Räumen, über unterschiedliche Schienen und verschiedene Trafos. Dazu kommen unterbrechungsfreie Stromversorgungen und ein Dieselgenerator, der bei einem Stromausfall einspringen kann. Der Treibstoffvorrat reicht für etwa drei Tage, länger nur mit Nachlieferung.
Im Bereich der Hochleistungsrechner sind nicht alle Systeme komplett abgesichert. Batterien und Diesel sollen vor allem die Steuerung und die Speichersysteme schützen, also die Technik, die Daten zusammenhält und den Cluster verwaltet. Die eigentlichen Rechenknoten können im Notfall auch einmal neu starten.
In der Kältezentrale wird sichtbar, wie aufwendig die Kühlung ist. Der Boden wirkt glatt und glänzend, er ist komplett versiegelt. Das Gemisch aus Wasser und Frostschutz darf bei einem Leck nicht ins Mauerwerk eindringen. Alle großen Maschinen stehen aufgeständert, damit keine Schrauben durch den Boden gehen. An Übergängen liegen Schwellen, damit austretendes Wasser in diesem Bereich bleibt.
Die Sicherheit hat oberste Priorität: Entlang der Wände läuft ein unscheinbares Kabelband, eine Leckageerkennung. Sobald Wasser das Band berührt, schlägt die Anlage Alarm und meldet, an welchem Meter entlang des Bandes das Problem liegt.
An einer Seite stehen grüne Behälter und Aufbereitungsanlagen. Dort wird das Wasser enthärtet und gefiltert. Ein großer schwarzer Tank speichert besonders sauberes Wasser, das benötigt wird, wenn die Kühler auf dem Dach an heißen Tagen mit feinem Sprühnebel besprüht werden. Kalk würde die feinen Düsen sonst schnell zusetzen. In einem weißen Behälter daneben lagern große Mengen Regeneriersalz für die Enthärtungsanlage. Ein silbern glänzender Kasten markiert den Wärmetauscher: Hier trifft der Kreislauf mit Frostschutzmittel auf den Kreislauf mit reinem Wasser. Die Wärme wechselt die Seite, das Kühlmittel bleibt im oberen Bereich und draußen, das reine Wasser zirkuliert im Gebäude.
Zum Schluss ging es aufs Dach. Dort kommen die Leitungen aus dem Gebäude nach oben. Ventilatoren blasen die Luft über Kühlregister, in denen das Wasser aus dem Rechenzentrum seine Wärme an die Umgebung abgibt. Zwischen den Aggregaten liegen Solarmodule, so weit es die Anordnung der Kühltechnik zulässt. Viel Fläche bleibt nicht, weil Kühler und Wartungswege Vorrang haben.
Der Plan für die Zukunft: Ein Teil der Rechenabwärme soll nicht einfach an die Außenluft abgegeben, sondern zum Heizen genutzt werden. Über mehrere dicke Rohre, die scheinbar im Nichts enden, soll die Abwärme der Supercomputer einmal in das Fernwärmenetz der Uni eingespeist werden. Die Wärme des 45 bis 50 Grad warmen Rücklaufwassers aus dem Hochleistungsrechner soll über einen weiteren Wärmetauscher an das Heizungssystem des Campus gekoppelt werden.
An einer Fassadenseite zieht sich ein Kunstwerk entlang, das im Rahmen von Kunst am Bau entstanden ist. Ein Satz lautet: „I can be the whole room, but there is nobody in it.“ Tatsächlich ist das Gebäude an den meisten Tagen leer. Die Büros des Zentrums für Datenverarbeitung bleiben in den bisherigen Räumen der Naturwissenschaftlichen Fakultät. Das neue Rechenzentrum dient vor allem der Infrastruktur. Die meisten Arbeiten laufen per Fernzugriff. Nur wenn ein Bauteil physisch getauscht werden muss oder eine größere Wartung ansteht, kommt jemand ins Haus.
Für die Besucher blieb vor allem eines hängen: Fast alles, was an der Uni digital passiert, hat seinen Ursprung in diesem Gebäude – in Räumen, die man im Alltag nie betritt. Wer an diesem Tag mitgegangen war, wusste danach ziemlich genau, wo das Internet der Uni wohnt.
Hinweis der Redaktion: In die gedruckte Version haben sich unabsichtlich einige Fehler eingeschlichen. Dafür entschuldigt sich die Redaktion. Der Text oben ist der korrekte und erweiterte Bericht vom Besuch im Rechenzentrum der Mainzer Uni.
