DER NETZWERK INSIDER – Ausgabe April 2023

Im Januar 2023 bin ich zuletzt auf die Vor- und Nachteile von Layer-2-Ethernet-Verbindungen zwischen verschiedenen Rechenzentren (RZ) eingegangen. Ich habe die 20 Jahre alte Diskussion darüber erwähnt, ob Hochverfügbarkeit für Cluster, deren Knoten auf verschiedene RZ verteilt sind, Layer-2-Netze erfordern, die sich über die verschiedenen RZ-Standorte erstrecken. Im Rahmen von Projekten mit dem Schwerpunkt Standort-Redundanz für Rechenzentren wird diese Frage oft gestellt. Im Folgenden möchte ich in diesem Zusammenhang auf ein weitgehend unbekanntes Verfahren näher eingehen, nämlich Internet Protocol (IP) Anycast.

Anycast ist wichtiger, als man denkt

Im Vergleich zu den Modi Unicast, Multicast und Broadcast ist das Verfahren Anycast weniger bekannt. Dabei handelt es sich um eine unverzichtbare Methode. Ein Beispiel: Es gibt im weltweiten Internet nur 13 IPv4- und 13 IPv6-Adressen, unter denen die sogenannten Root-Server des Domain Name System (DNS) erreichbar sind. Wenn ein Name Server im iterativen Verfahren die passende IP-Adresse zu einem ihm unbekannten Fully Qualified Domain Name (FQDN) sucht, fragt er zuerst immer einen Root-Server. Man kann sich vorstellen, wie oft sich dieses Verfahren wiederholt, etwa immer, wenn auf irgendeinen Link im Internet geklickt wird, der einen dem Endgerät und dem von ihm beauftragten Name Server bisher unbekannten Hostnamen enthält. „Bisher unbekannt“ heißt konkret: nicht im temporären Zwischenspeicher vorhanden. Einträge im Zwischenspeicher für DNS (DNS Cache) sind recht kurzlebig, ein paar Stunden oder Minuten. Dann werden sie entfernt. Deshalb müssen die Root-Server im Internet insgesamt viele Milliarden Anfragen pro Stunde beantworten.

Reichen dafür 13 + 13 = 26 Server? Definitiv nicht. Hunderte physische Server beherbergen die identische sogenannte Root-Zone-Datei mit den für die Beantwortung der Root-Fragen notwendigen Informationen. Daraus folgt:

• Mehrere Server sind über dieselbe IP-Adresse erreichbar.
• Änderungen der Root-Zone-Datei werden zu allen Root-Servern repliziert.

Die erste Eigenschaft wird mittels IP Anycast realisiert. Ohne Anycast geht also im Internet nichts, und das schon seit Jahrzehnten. Dafür, dass es sich um einen so kritischen Dienst handelt, ist das Verfahren Anycast relativ unbekannt.

Neben Root-Adressen wird Anycast für viele andere Zwecke genutzt. Zum Beispiel verbergen sich hinter dns.google. zwei IPv6- und zwei IPv4-Adressen (8.8.8.8 und 8.8.4.4). Das sind sogenannte rekursive Resolver. Sie kümmern sich um den ganzen Prozess der Bearbeitung von DNS-Anfragen, angefangen mit der Root-Anfrage bis zur Anfrage beim autoritativen Name Server, der die Frage abschließend beantwortet. Auch der Google-Resolver nutzt viele Server, die über lediglich vier Adressen erreichbar sind.

Wie Anycast funktioniert

Das Anycast-Prinzip ist recht einfach. Die Anycast-Adresse wird verschiedenen Instanzen zugeordnet. Dies gilt auch für die Sicht der Router auf das Netz. Der Router 1 in einem RZ des Providers A ist direkt mit einer Instanz mit der Anycast-Adresse 202.12.27.33 im selben RZ verbunden, während der Router 2 in einem RZ des Providers B eine andere Instanz mit derselben IP-Adresse 202.12.27.33 im eigenen RZ als direkten Nachbarn sieht. Beide Router, Router 1 und Router 2, melden im weltweiten Internet, dass sie Pakete an 202.12.27.33 vermitteln können, was im hochgradig vermaschten Internet keinesfalls selten ist. In solchen Fällen entscheidet das Prinzip Least Cost Routing (LCR). Pakete von Geräten, die „näher“ am Router 1 sind, erreichen über diesen die Instanz mit der Adresse 202.12.27.33. Pakete von Geräten mit kleinerer Distanz zum Router 2 nehmen den Weg über den letztgenannten Router zum Ziel 202.12.27.33. Übrigens: genau diese Adresse, 202.12.27.33, ist eine der 13 IPv4-Adressen der Root-Server des DNS, nämlich die Adresse, die dem Namen m.root-servers.net. zugeordnet ist. Laut Informationen auf der Webseite root-servers.org ist die IP-Adresse 202.12.27.33 Servern an 12 Standorten von Brisbane in Australien bis Paris zugeordnet. Es ist davon auszugehen, dass über die Adresse an jedem der 12 Standorte eine Mehrzahl von Servern erreicht wird.

Was bedeuten die „Kosten“ in LCR? Üblich ist, dass Routing-Protokolle Netzverbindungen höherer Bitrate mit niedrigeren Kosten assoziieren. Zwei hintereinander geschaltete Verbindungen der Bitrate 100 Gbit/s können somit in der Summe niedrigere Kosten haben als eine Verbindung der Bitrate 10 Gbit/s.

LCR sorgt damit für eine Verteilung der Last auf verschiedene Instanzen. Nicht nur Lastverteilung, sondern auch Ausfallsicherheit wird mit LCR erreicht. Fällt die Verbindung zu einer Instanz weg, verschwindet nach einer gewissen Zeit der entsprechende Eintrag aus den Routing-Tabellen im Netz. Dafür sorgen regelmäßige Update-Informationen zwischen Routern.

Auf Anycast angewandt heißt das: Server mit derselben Anycast-Adresse geben sich gegenseitig Redundanz.

Für welche Szenarien Anycast geeignet ist

Das Nutzungsszenario der DNS-Root-Server ist wie für Anycast gemacht: Über dieselbe Adresse sind dieselben Daten von verschiedenen Servern abrufbar. Voraussetzung hierfür ist, wie oben erwähnt, die Replikation dieser Daten zwischen den Servern. Das ist bei Datenbeständen wie DNS-Zone-Files durchaus praktikabel. Solche Daten ändern sich selten genug, damit die Replikation der Daten zu allen zuständigen Servern möglich bleibt. Anders bei höchst dynamischen Datenbeständen: Ein Konzept wie bei hunderten DNS-Root-Servern kann zum Beispiel von einer Bank, bei der die Kontodaten sich jede Sekunde ändern, nicht angewandt werden. Üblich bei Banken ist die Echtzeit-Replikation von Daten an wenigen Standorten. Selbst die synchrone Replikation von einem zu einem zweiten Standort ist eine Herausforderung, wenn die Dynamik der Daten hoch ist und der Abstand der beiden Standorte wenige Kilometer überschreitet.

Zwischenfazit: Das Anycast-Prinzip ist auf Nutzungsszenarien mit relativ statischen Daten gut anwendbar.

Warum Anycast auch in einem Unternehmensnetz nützlich sein kann

Gibt es in einem Unternehmensnetz relativ statische Daten? Die Antwort ist ja. Einige DNS-Zone-Files können relativ statisch sein. Ein Unternehmensnetz kann hinsichtlich DNS nach demselben Schema aufgebaut sein wie das Internet. Genauso wie im Internet kann es auch im Unternehmensnetz DNS-Server geben, die mit relativ wenigen statischen Verweisen versehen werden, zum Beispiel Weiterleitungsregeln zu anderen DNS-Servern (Forwarding). Endgeräte können beispielsweise mit der Adresse 10.1.1.1 für den DNS-Resolver versehen werden. Im Unternehmensnetz kann 10.1.1.1 eine Anycast-Adresse sein, d.h. mehr als einem Server zugeordnet werden. Auf jedem dieser Server kann es eine Weiterleitungsregel für die Auflösung von Namen einer bestimmten Domäne geben. Mit der Änderung solcher Weiterleitungsregeln kann man DNS-Verkehr und damit auch die „Nutzlast“ von einem zum anderen RZ schwenken.

DNS-Zone-Files sind nicht die einzigen Beispiele für sinnvolle Anycast-Nutzungsszenarien. Auch die Konfiguration von Load-Balancern kann relativ statisch sein. Beispiel: Ein Load Balancer wird mit der IP-Adresse 10.10.1.1 als virtuelle IP-Adresse einer bestimmten Applikation konfiguriert. Der Load Balancer verteilt die Last aller an 10.10.1.1 gerichteten Anfragen auf zwei reelle Server, 10.20.1.1 im RZ A und 10.220.1.1 im RZ B. Dazu führt der Load Balancer regelmäßige Statusabfragen bei den beiden reellen Servern durch und erfährt so, wenn einer der beiden reellen Server nicht erreichbar ist.

Nun kann die virtuelle Adresse 10.10.1.1 als Anycast-Adresse zwei Load-Balancer-Instanzen in den Rechenzentren A und B zugeordnet sein. Die virtuelle Adresse 10.10.1.1 ist auch dann erreichbar, wenn eines der Rechenzentren ausgefallen ist. Da die reellen Server auch auf die beiden Rechenzentren verteilt sind, ist die Verfügbarkeit der Applikation insgesamt nicht von einem einzigen RZ abhängig. Eine wichtige Voraussetzung für das Funktionieren dieses Konzeptes ist selbstredend die Replikation der Applikationsdaten zwischen den beiden Rechenzentren. Dies ist in der Regel die Funktion einer Storage-Lösung.

Fazit: Anycast als Alternative zu RZ-übergreifenden Layer-2-Netzen

Das Anycast-Verfahren gilt somit als Alternative zu RZ-übergreifenden Layer-2-Netzen. Zwei Rechenzentren, A und B, können mit Ausnahme der Anycast-Adressen vollständig disjunkte IP-Adressbereiche aufweisen. Zwischen DNS-Namen und IP-Adressen kann es dabei eindeutige Beziehungen geben. Load Balancer sorgen für die Redundanz und Ausfallsicherheit von Applikationen, die von Ressourcen in beiden Rechenzentren bedient werden.

Allerdings können durch Bildung von RZ-übergreifenden Layer-2-Netzen Verfahren genutzt werden, die RZ-übergreifend allein mit Anycast nicht möglich sind. Dazu zählt zum Beispiel VMotion, genutzt für die relativ nahtlose Verlagerung von virtuellen Maschinen (VMs) samt IP-Konfiguration im laufenden Betrieb.

Trotz solcher Einschränkungen lohnt es sich, bei Vorhaben für RZ-Standortredundanz über das bisher weit unbekannte Anycast-Verfahren nachzudenken.