Brauchen Ihre Server demnächst Wasseranschlüsse?

Die Leistungsexplosion

Man kann es nicht mehr als Entwicklung bezeichnen: Angemessener wäre, von der Leistungsexplosion bei Prozessoren zu sprechen. Innerhalb von acht Jahren hat sich der Leistungsbedarf der jeweils neuesten Generation von Grafikprozessoren (Graphics Processing Unit, GPU) vervierfacht: von 300 Watt auf 1,2 kW. Selbst wenn wir davon ausgehen, dass ein Server mit einem 1,2-kW-Prozessor statt einer Höheneinheit (HE) drei haben wird, kommen wir auf mindestens 400 Watt pro HE. Wenn man berücksichtigt, dass die GPU nicht der einzige Verbraucher in einem solchen Server ist, ist von 500 Watt pro HE auszugehen. Bei 40 HE pro Rack ergeben sich 20 kW Leistung pro Schrank. Das Gros dieser Leistung wird in Wärme umgewandelt, denn der Anteil, der in Form von Signalenergie über Datenleitungen die Racks verlässt, ist vernachlässigbar.

Nun sind allein 20 kW pro Rack kein Grund, den Weg der klassischen Luftkühlung zu verlassen. Jedoch sind 1,2 kW pro Chip nicht das Ende der Fahnenstange. Die Chip-Hersteller arbeiten an neuen Prozessor-Generationen, bei denen man von 5 kW pro Chip ausgeht, also dem vierfachen Wert im Vergleich zu den neuesten GPUs. Multiplizieren Sie 20 kW mit vier: Bei 80 kW pro Rack reicht die reine Luftkühlung längst nicht mehr aus.

Luft- versus Flüssigkeitskühlung

Haben Sie schon mal darüber nachgedacht, warum Sie es bei 90 Grad oder gar 100 Grad in der Sauna aushalten können, während selbst eine kurze Berührung mit 90 bis 100 Grad heißem Wasser mit einer Hautverletzung einhergeht? Flüssigkeiten sind viel dichter als Gase und haben deswegen erstens eine wesentlich höhere Wärmekapazität und zweitens eine um Größenordnungen höhere Wärmeleitfähigkeit.

Dort wo Luftkühlung an Grenzen stößt, beginnt die Domäne der Flüssigkeitskühlung. Neu ist Flüssigkeitskühlung nicht. Bereits für einige Großrechner des letzten Jahrtausends wurde Flüssigkeitskühlung, in der Regel Wasserkühlung, genutzt. Die Großrechner sind mittlerweile von vielen kleineren Rechnern verdrängt, für die eine Luftkühlung bis heute ausgereicht hat. Physikalisch ist dies einfach zu erklären: Der im wahrsten Sinne des Wortes „Hot Spot“-Großrechner wich den vielen „Warm Spots“, verteilt auf eine größere RZ-Fläche.

Nun werden die „Warm Spots“ dank Nvidia & Co. zu neuen Hot Spots. Anders als im letzten Jahrtausend gibt es sie heute in einem modernen RZ gleich in großer Zahl. Es geht nicht nur darum, einen Hot Spot zu kühlen, sondern jedes Rack oder zumindest mehrere Racks als Hot Spot zu behandeln. Die Flüssigkeitskühlung kommt wieder, diesmal quasi flächendeckend.

Kühlungslösungen im Vergleich

Bei der Planung eines zukunftsorientierten RZ-Kühlungssystems kommen verschiedene Kühlungslösungen infrage:

• Raumbasierende Umluftkühlgeräte (ULKG) in Kombination mit einer Outdoor-Kältemaschine: Diese Lösung wird in vielen Rechenzentren bereits eingesetzt und eignet sich für einstellige Kilowatt-Leistungen pro Rack.
• Raumbasierende Kühlung in Kombination mit Doppelboden und Einhausung: Um die Luftzirkulation gezielter an die Hot Spots anzupassen, wird der Raum unter dem Doppelboden genutzt. Die Einhausung von Racks trägt zur gezielten Steuerung der Luftzirkulation bei. Diese Lösung kann für Racks mit einer Leistung um 15 kW genutzt werden.
• Reihenbasierende Kühlung in Kombination mit Einhausung: Damit die Kühlungs- und Zirkulationsleistung skalieren kann, wird raum- durch die reihenbasierende Kühlung ersetzt. Damit erreicht man eine Kühlungsleistung zwischen 20 und 30 kW.
• Passive schrankbasierende Kühlung: Von der raum- über reihen- zur schrankbasierenden Kühlung wird die gekühlte Einheit immer kleiner. Die passive Schrankwandkühlung ermöglicht ca. 50 kW Abwärme pro Rack. Sie basiert auf dem Prinzip der Konvektion, d.h. Luftaustausch durch Temperaturunterschiede. In den Schrankwänden gibt es noch keine aktiven Kühlungskomponenten.
• Aktive schrankbasierende Kühlung: In den Schrankwänden gibt es aktive Kühlungskomponenten wie Klimaanlagen, Lüfter, Wärmetauscher oder thermoelektrische Elemente. So kann pro Rack eine Leistung von ca. 80 kW erreicht werden.
• Flüssigkeitskühlung: Wenn die bei allen oben genannten Verfahren angewandte Kühlung der Elektronik über Luft an ihre Grenzen stößt, muss die Kühlflüssigkeit an die Elektronik selbst herangeführt werden.

Mit der Flüssigkeitskühlung bekommen die Server neben Strom- und Datenkabeln einen neuen Anschlusstyp: Wasseranschluss bzw. Flüssigkeitsanschluss.

Varianten der Flüssigkeitskühlung

Die Flüssigkeitskühlung direkt an der Elektronik wird bereits angewandt. Der Einsatzbereich ist überraschend weit verbreitet: im Smartphone. In den aktuellen Typen mobiler Geräte wie Apple iPhone 17 Pro gibt es eine sogenannte Dampfkammern. Um das Prinzip der Dampfkammer zu verstehen, muss man rekapitulieren, dass die Versetzung einer Flüssigkeit in den Gaszustand Energie erfordert. Ihr Wasserkocher verbraucht noch während des Verdampfens von Wasser Strom, obwohl die Temperaturanzeige auf 100 Grad stehen bleibt. Die Dampfkammer nutzt dieses Phänomen. Sie ist ein dichter, flacher metallischer Behälter. Eingebaut in ein Smartphone verteilt sie die Wärmeenergie von den Hot Spots im Gerät auf die ganze Fläche der Kammer. Dabei verdampft die Flüssigkeit punktuell im Bereich der heißesten Chips. Das Gemisch aus Flüssigkeit und Dampf zirkuliert dadurch in der Dampfkammer.

GPU-bestückte Server werden natürlich heißer als Smartphones. Eine geschlossene Dampfkammer allein würde nicht reichen. Die Flüssigkeit bzw. das Gemisch aus Flüssigkeit und Dampf muss viel schneller als beim Smartphone gekühlt werden. Dazu muss man den Server-internen Kreislauf an den Server-externen Kreislauf heranführen. Letzterer erfordert einen Flüssigkeitsanschluss des Servergehäuses. Eine flache Dampfkammer wird auf dem Chip installiert und mit dem internen Kreislauf verbunden, der vom externen getrennt ist. Die beiden Kreisläufe tauschen über ihre Leitungssysteme Wärme aus.

Wasser als Kühlflüssigkeit hat einige Nachteile. Erstens liegt die Siedetemperatur von Wasser bei 100 Grad Celsius. Dieser Wert ist für die gängigen Chips zu hoch, wenn der Chip großflächig heiß wird, und nicht nur in mikroskopischen Spots – die Chips bestehen aus Millionen Transistoren, über die ganze Chip-Fläche verteilt. Zweitens würde bei Ausbruch von Wasser die ganze Elektronik Schaden nehmen, weil Wasser elektrisch leitend ist. An dieser Stelle würde der Exkurs in die Chemie von Kühlflüssigkeiten zu weit führen. Für IT-Experten reicht es zu wissen, dass es verschiedene Kühlflüssigkeiten mit unterschiedlichen physikalischen und thermischen Eigenschaften gibt.

Immersion: Wenn die Server tauchen lernen

Wenn die feinen Röhrchen und Leitungssysteme im Servergehäuse nicht mehr reichen, dann kommt Immersion Cooling (Eintauchkühlung) auf den Plan. Die ganze Platine ist dabei von der Kühlflüssigkeit umgeben. Im Netz gibt es einige Filme, die das zeigen. Für die aktuellen GPU-Modelle braucht man keine Eintauchkühlung. Ich bin mir im Moment noch unsicher, ob und wann die Eintauchlösung Realität wird. In Flüssigkeit eingetauchte Server verändern den Serverbetrieb grundlegend. Der Austausch von Teilen im Server wird dadurch sehr kompliziert. Gleiches gilt für die Verkabelung. Ich kann nicht ausschließen, dass Fortschritte in KI-Algorithmen eine Sättigung des Leistungshungers der Elektronik herbeiführen, die Eintauchkühlung unnötig macht.

Unabhängig davon, ob und wann wir die ersten eingetauchten Server in den Rechenzentren von Unternehmen erleben, ist davon auszugehen, dass in Zukunft in einem mittleren bis großen RZ nicht ein einziges Kühlungsverfahren angewandt wird. Die IT-Welt besteht nicht nur aus KI. Altersbedingt habe ich die Rechenzentren des letzten Jahrtausends von innen gesehen, in denen zum Beispiel wassergekühlte Cray-Supercomputer neben luftgekühlten Rechnern standen. Solche Kombinationen werden höchstwahrscheinlich auch die Zukunft von Rechenzentren prägen.