Umzug von Netzwerk-Komponenten für die Rechenzentren eines großen Dienstleisters

Oliver Kloß absolvierte ein duales Studium zum mathematisch-technischen Softwareentwickler mit Schwerpunkt auf mathematischer Programmierung. Bereits vor Beginn seiner Ausbildung durchlief er ein einwöchiges Praktikum bei ComConsult. Nach seinem Anschluss entschied er sich für eine Tätigkeit im Beratungsumfeld und stieg im Januar 2024 bei ComConsult ein. Er ist im Competence Center Netze tätig und unterstützt dort bei der Konzeption und Planung von Gebäudenetzen, begleitet deren Umsetzung sowie die Übergabe an Betriebspartner. Aktuell arbeitet er im Rahmen eines Projekts an der Erneuerung der Netzwerk-Infrastruktur der Rechenzentren eines Dienstleisters mit, wovon er in diesem Interview erzählt.

Was hatte den Kunden veranlasst, die Netzwerk-Infrastruktur seiner Rechenzentren zu erneuern?

In den vergangenen Jahren kam es bei mehreren eingesetzten Switches wiederholt zu Ausfällen. Zudem hatten diese Systeme inzwischen ein Alter erreicht, in dem sie vom Hersteller nicht mehr mit aktuellen Updates versorgt wurden. Da dies ein erhebliches Sicherheitsrisiko darstellte, wurde die Entscheidung getroffen, die Rechenzentren – zumindest in wesentlichen Teilen – auf eine moderne, aktuelle Infrastruktur umzustellen.

Worum geht es bei diesem Projekt im Kern?

Der Schwerpunkt liegt auf der Erneuerung der Netzwerk-Komponenten, beginnend bei den Core-Switches bis hin zu den Access-Switches. Im Serverbereich werden zahlreiche Systeme auf die neue Infrastruktur migriert. Gleichzeitig entfallen einige Server, da bestimmte Funktionen in Cloud-Services verlagert werden. Ergänzend werden auch neue Server in Betrieb genommen.

Insgesamt sind über 200 einzelne Server in den Umzug eingebunden. Die Core-Switch-Infrastruktur wurde konsolidiert: Während zuvor eine größere Anzahl im Einsatz war, besteht sie nun aus insgesamt vier Core-Switches, organisiert in zwei redundanten Zweierpaaren mit zwei angebundenen Standorten. Darüber hinaus umfasst die Umgebung etwa 100 Access-Switches.

Der Umzug betrifft insgesamt 50 bis 60 Serverschränke, die im Rahmen des Projekts berücksichtigt werden.

Wie ist die Rechenzentrums- und Netzwerkarchitektur am Standort aufgebaut?

Am Standort gibt es zwei Rechenzentren, die weitestgehend redundant aufgebaut sind. Beide Rechenzentren verfügen über nahezu die gleiche Infrastruktur, und viele Server sind so konfiguriert, dass sie redundant zwischen den Rechenzentren gespiegelt werden. Fällt ein Server aus, steht die Funktionalität weiterhin im anderen Rechenzentrum zur Verfügung. Die beiden Hauptrechenzentren sind zudem untereinander direkt verbunden, um eine durchgehende Verfügbarkeit zu gewährleisten.

Im Zuge der Infrastrukturaktualisierung wurde in beiden Hauptrechenzentren der Core-Bereich durch sogenannte Spine-Switches ersetzt – die höchste Netzwerkschicht, vergleichbar mit den vorherigen Core-Switches. Pro Rechenzentrum kommen zwei Spine-Switches zum Einsatz, die als redundantes Paar (MLAG) konfiguriert sind. Logisch betrachtet bilden sie ein Gerät, sodass im Falle eines Ausfalls die jeweils andere Einheit die Aufgaben nahtlos übernimmt.

An die Spine-Switches sind Border-Leafs angeschlossen, die als nächste Ebene im Netzwerk fungieren. Diese sind ebenfalls über Leitungen zwischen den Rechenzentren verbunden und stellen die Glasfaserverbindungen zu den jeweils anderen Standorten her. Auf der untersten Ebene befinden sich die Access-Switches, an die die Server direkt angebunden sind.

Die Anbindung der Server ist deine zentrale Aufgabe. Welche Tätigkeiten umfasst das?

Zunächst wurde eine Bestandsaufnahme der vorhandenen Server durchgeführt, einschließlich Anzahl und aktueller Anbindung. Der Kunde unterstützte diesen Prozess durch vorhandene, wenn auch verteilte, Dokumentationen sowie durch ergänzende Auskünfte. Auf dieser Basis wurde eine detaillierte Ist-Analyse in Form einer Tabelle erstellt, in der alle Serverschränke erfasst wurden. Für jeden Schrank wurde dokumentiert, welche Server verbaut sind, auf welchen Höheneinheiten sie sich befinden und wie viele Anschlüsse an der bestehenden Infrastruktur vorhanden sind, um den entsprechenden Bedarf für die neue Infrastruktur abzuleiten.

Der nächste Schritt bestand darin zu prüfen, ob das Konzept mit den neuen Switches in den Serverschränken umsetzbar ist. In der Regel sind pro Schrank zwei Switches vorgesehen, an die jeder Server redundant angebunden ist, um eine möglichst hohe Ausfallsicherheit zu gewährleisten.

In diesem Zusammenhang wurde überprüft, ob die Switches über ausreichend Ports verfügen, um alle derzeit installierten Server anzuschließen. Zusätzlich hat der Kunde den Wunsch geäußert, die Serverstruktur künftig stärker zu trennen und zu ordnen. Dabei sollen die Server nach ihren Aufgaben bzw. den darauf betriebenen Diensten gruppiert werden, sodass jeder Serverschrank eine klar definierte Funktion übernimmt. Beispielsweise sollen alle Server, auf denen SAP betrieben wird, in einem Schrank bzw. mehreren benachbarten Schränken zusammengefasst werden.

Meine Aufgabe bestand darin, zu erarbeiten, wie sich diese Gruppierung mit möglichst geringem Aufwand umsetzen lässt, insbesondere um das zeitintensive Demontieren und den erneuten Aufbau von Servern zu minimieren. Zudem war zu prüfen, ob die geplante Struktur insgesamt umsetzbar ist und die erforderliche Portanzahl der Switches ausreicht.

Wie ist es dir gelungen, den Arbeits- und Zeitaufwand möglichst gering zu halten?

Um den Zeitaufwand möglichst gering zu halten, habe ich zunächst analysiert, in welchen Serverschränken bereits eine größere Anzahl gleichartiger Server installiert ist. Auf dieser Basis habe ich geplant, einzelne Server aus anderen Schränken, in denen nur wenige Systeme dieses Typs vorhanden waren, gezielt in diese bereits weitgehend homogenen Schränke zu verlagern. So konnten beispielsweise vereinzelte SAP-Server aus verschiedenen Schränken in einem Schrank zusammengeführt werden, der bereits überwiegend mit SAP-Systemen bestückt war.

Zusätzlich habe ich berücksichtigt, dass in den Serverschränken zwei unterschiedliche Switch-Typen zum Einsatz kommen, nämlich Kupfer- und Glasfaser-Switches. Entsprechend habe ich sichergestellt, dass die jeweiligen Server über die passenden Schnittstellen verfügen und technisch für den vorgesehenen Schrank geeignet sind.

Grundlage für meine Planung war die vollständige Dokumentation des Ist-Zustands. Darauf aufbauend habe ich eine interaktive Tabelle erstellt, in der jeder Server sowie jede Höheneinheit abgebildet war. Diese diente dazu, verschiedene Szenarien zu simulieren, indem ich die Server virtuell zwischen den Schränken verschoben habe. Auf diese Weise konnte ich eine sinnvolle und effiziente Gruppierung erarbeiten, die den physischen Umbauaufwand auf ein Minimum reduzierte.

Wie habt ihr die Netzwerkanbindung der Server geplant?

Nachdem die Zuordnung der Server zu den jeweiligen Serverschränken weitgehend feststand, erfolgte die detaillierte Planung der Netzwerkanbindung. Jeder Server wird dabei an die Switches des jeweiligen Schranks angebunden. Für den Servertyp, den wir aktuell bearbeiten und der den größten Anteil ausmacht, sind insgesamt jeweils neun Netzwerk-Ports vorgesehen.

Zur Erhöhung der Ausfallsicherheit haben wir uns dazu entschieden, die Ports auf beide Switches eines Schranks aufzuteilen. Der nicht redundante ausgeführte Management-Port wird dabei abwechselnd an den ersten beziehungsweise zweiten Switch angeschlossen. Die verbleibenden Funktions-Ports werden gleichmäßig auf beide Switches verteilt.

Um Portkonflikte oder Doppelbelegungen zu vermeiden, haben wir eine detaillierte Portplanung erstellt. Diese dokumentiert eindeutig, welcher Server-Port mit welchem Switch-Port verbunden ist und welche Netzwerke beziehungsweise welcher Datenverkehr auf den jeweiligen Ports zugelassen sind.

Zusätzlich muss festgelegt werden, welche Funktionen und welcher Datenverkehr über die einzelnen Ports der Switches zu den Servern geleitet werden. Für jeden Port wird dokumentiert, welche VLANs aktiviert sind, damit die Server ihre bisherigen Funktionen nahtlos übernehmen können. So wird sichergestellt, dass der Übergang von der alten zur neuen Infrastruktur reibungslos erfolgt und beim physischen Umstecken keine Ausfälle auftreten.

Wie laufen die Umzüge der Server ab?

Neben der Verortung der Server muss auch die Reihenfolge der Umzüge geplant werden. In einigen Fällen wird ein Server an einen Platz umgesetzt, an dem sich zuvor ein anderer Server befand, der zunächst entfernt werden muss. Um sicherzustellen, dass bei der Montage nichts im Weg steht, legen wir daher die Reihenfolge der Umzüge und die Freimachung der Höheneinheiten genau fest.

Aktuell haben wir mit der Planung des Servertyps ESX begonnen, da diese Systeme am einfachsten migriert werden können, indem sie abgeschaltet werden. Zudem weisen sie nur geringe Abhängigkeiten auf. Die Planung für diese Systeme ist nahezu abgeschlossen, und der erste Umzug wird sehr bald erfolgen. Danach wird die Portbelegungsplanung für den nächsten Servertyp gestartet. Insgesamt betrifft das Projekt derzeit vier Servertypen, bei denen wir nun mit den ersten Umzügen begonnen haben.

Liegt das Projekt im Zeitplan?

Die Serverumzüge sollten ursprünglich bereits vor einem halben Jahr beginnen. In der Umsetzung kam es jedoch zu mehreren Verzögerungen, unter anderem durch Lieferengpässe, verspätete Beschaffung von Transceivern sowie fehlende Verfügbarkeiten des Einbauteams, insbesondere während der Sommerferien.

Erschwerend für einen flüssigen Projektablauf ist die derzeitige Dokumentationslage der Infrastruktur. Die vorhandene Dokumentation ist zwar umfangreich, jedoch auf mehrere Systeme verteilt. Es existiert ein zentrales Tool mit einer strukturellen Darstellung des Rechenzentrums und der einzelnen Racks sowie grundlegenden Serverinformationen. Detaillierte Angaben zu Verkabelung und Anbindungen sind dort jedoch nicht enthalten und müssen über zusätzliche Tools recherchiert werden. Der Zugriff auf diese verschiedenen Tools war zu Projektbeginn teilweise erschwert, was den Arbeitsaufwand weiter erhöht hat.

Insgesamt haben viele kleinere Einzelthemen wiederholt zu zeitlichen Verschiebungen geführt. Gleichzeitig ist positiv hervorzuheben, dass der Kunde und die beteiligten Mitarbeitenden sehr kooperativ vorgehen, zeitnah reagieren und bei offenen Punkten oder fehlenden Informationen aktiv unterstützen.

Wie gesagt haben kürzlich die ersten Serverumzüge begonnen. Nach einer überschlägigen Planung können voraussichtlich etwa drei bis fünf Server pro Tag umgezogen werden. Unter der Annahme eines reibungslosen Ablaufs rechnen wir damit, den Servertyp ESX innerhalb von etwa zwei bis drei Monaten vollständig umzuziehen.

Nach Abschluss dieses Schritts wird rund die Hälfte aller Server migriert sein. Anschließend folgt die Planung und Umsetzung der Umzüge der weiteren Servertypen. Ziel ist es, das Gesamtprojekt im Laufe dieses Jahres abzuschließen.

Was nimmst du persönlich aus diesem Projekt mit?

Das Projekt ist für mich insgesamt sehr spannend, insbesondere die Arbeit in einem Rechenzentrum dieser Größenordnung und mit einer entsprechend hohen Anzahl an Systemen. Dabei wurde deutlich, dass der Aufwand für solche Vorhaben nicht unterschätzt werden darf, da neben der eigentlichen Planung und Umsetzung zahlreiche Details zu berücksichtigen sind und unerwartete Herausforderungen auftreten können. Insgesamt zeigt sich, dass der tatsächliche Arbeitsaufwand häufig höher ist als zunächst angenommen, das Projekt jedoch fachlich sehr interessant und lehrreich ist.