Neues Jahr, neue Gefahren

Die KI als Fehlerquelle oder Informationsabfluss

Ein Bereich, in dem das Risikobewusstsein zwischen Experten und weniger technikaffinen Nutzern kaum größer sein könnte, ist die Zuverlässigkeit und Vertrauenswürdigkeit einer KI.

Die aktuellen Large Language Models (LLMs) wie ChatGPT, Gemini und Grok erscheinen für einen unbedarften Nutzer fast schon wie Magie. Man gibt eine Anfrage ein und bekommt eine Antwort, die gut und richtig klingt. Und dabei geht es nicht nur um Recherchen, sondern auch um Bilderzeugung oder Programmierung. Leider hat die aktuell gängige Technologie der LLMs eine entscheidende Schwäche: Durch den Wahrscheinlichkeits-basierten Ansatz zur Erzeugung der Antwort wird nicht die richtige Information, sondern die wahrscheinlichste ausgegeben. In Kombination mit der Tatsache, dass die meisten LLMs „von Hause aus“ darauf ausgelegt sind, dem Nutzer zu gefallen und Konflikte zu vermeiden, entstehen so faktisch falsche Antworten. Wenn ich mir dann auch noch Quellcode für eine Software generieren lasse, können solche nicht offensichtlichen Fehler auch zum Sicherheitsrisiko werden.

Ein anderer wichtiger Aspekt: In den meisten Fällen nutzen die Hersteller aktueller Cloud-KIs die eingegebenen Anfragen für das weitere Training. Werden dabei vertrauliche Informationen in die KI eingegeben, landen diese praktisch „in der KI“. Zwar ist es nicht einfach, die ursprünglichen Trainingsdaten einer KI zu extrahieren, doch man liest regelmäßig von Beispielen, bei denen genau das passiert ist.

Diese beiden Aspekte sind aus Sicht der Informationssicherheit eine enorme Herausforderung. Die Überprüfung von Informationen und Quellcode kann zwar teilweise automatisiert werden, doch kommen die besten Ergebnisse immer noch von Menschen. Gleiches gilt für die Eingabe von Daten in eine KI: Hier muss ein Bewusstsein geschaffen werden. Ergänzend lassen sich Techniken der Data Loss Prevention (DLP) einsetzen.

KI als technisches Angriffswerkzeug

Doch nicht nur unsere Kollegen und Mitarbeiter haben Zugriff auf KIs, sondern auch Angreifer. Und gerade bei APTs, die häufig von Staaten unterstützt werden, kann dadurch eine neue Gefahr auftreten: eine auf Angriffe optimierte KI, insbesondere im Umfeld von Payloads von Angriffen oder dem Auffinden von Schwachstellen. Eine eigene KI zu entwickeln und zu trainieren ist zwar enorm aufwendig, aber mit staatlichen Mitteln durchaus machbar.

Eine besondere Gefahr liegt dabei genau in der Funktion, die uns auch schon bei der „guten“ Nutzung Kopfzerbrechen macht: programmieren mit KI. Angreifer können so vergleichsweise einfach Schadsoftware entwickeln oder schon vorhandene Schadsoftware so verändern, dass sie von gängigen Anti-Malware-Lösungen nicht erkannt wird.

Hier muss die IT-Sicherheit also noch etwas vorsichtiger werden, was Downloads, Anhänge und dergleichen angeht.

KI als Werkzeug im Social Engineering

Der andere zu Anfang erwähnte Punkt, dass eine KI meist versucht, freundlich zu sein und zu gefallen, kann von Angreifern ebenfalls ausgenutzt werden. Vorbei sind die Zeiten, in denen man eine Phishing-Mail an sprachlichen oder grammatikalischen Fehlern leicht erkannt hat. In Kombination mit offenen Informationsquellen zu Unternehmen wie sozialen Netzwerken (insbesondere LinkedIn) lassen sich so mit minimalem Aufwand gut funktionierende Spear-Phishing-Angriffe durchführen.

Aber damit nicht genug! Moderne KIs sind nicht auf Text begrenzt. Stimmen können mit einem Sprachsample von 20 Sekunden so trainiert werden, dass die KI-erzeugte Stimme kaum noch vom Original zu unterscheiden ist. In Verbindung mit immer mächtigeren Bild- und Video-Generations-Werkzeugen und Deep Fakes werden wir auch hier umdenken müssen. Ein guter Spam-Filter alleine wird wahrscheinlich nicht mehr lange reichen! Auch hier helfen im Prinzip nur ein gesundes Maß an Misstrauen und entsprechende Prozesse und Schulungen.

KI als Unterstützung bei der Verteidigung

Aber nicht alles, was KI ist, stellt für die IT-Sicherheit eine Herausforderung dar. In vielen aktuellen Sicherheitslösungen wird KI schon lange eingesetzt, z.B. bei Security Information and Event Management (SIEM). Hier werden alle eingehenden Protokollmeldungen mit einem zuvor erlernten Soll-Zustand sowie mit vom Hersteller gelieferten Merkmalen trainiert, um Abweichungen vom Soll oder aktuelle Bedrohungen besser erkennen zu können. Ähnliche Technologien finden sich in DLP-Lösungen wieder.

Und selbst LLMs werden zunehmend in immer mehr Systemen eingesetzt. Führende Netzwerk-Ausrüster versehen ihre Cloud-basierten Management-Lösungen mit LLMs, um bei der Fehleranalyse oder der Konfigurationserstellung zu helfen (s. Beitrag von Dr. Moayeri in dieser Ausgabe). Man muss (angeblich) nicht mehr jedes Detail kennen, sondern kann mit natürlicher Sprache sein Anliegen formulieren und so sein Netzwerk konfigurieren. Noch schneiden diese Systeme nicht optimal ab, doch es gibt Hoffnung. Und auch in Sicherheits-Werkzeugen kann man sich nützliche Szenarien vorstellen: Was wäre zum Beispiel, wenn man für die Bedienung eines SIEMs keine eigene Syntax mehr lernen müsste, sondern sich die Queries von einer KI erstellen ließe?

Eins bleibt jedoch bestehen: Auch hier wird KI niemals vollkommen zuverlässig sein, sodass weiterhin der Blick eines Experten notwendig ist.

Fazit

KI verändert die Welt der IT in sehr vielen Bereichen – und auch die IT-Sicherheit bleibt davon nicht unberührt. Viele bestehende Gefahren werden verschärft, andere kommen neu hinzu. Doch dank KI werden wir in Zukunft nicht wehrlos sein, sondern es wird ein Kampf KI gegen KI werden. Dennoch bleibt der Mensch die entscheidende Kontrollinstanz. Ich bin der Überzeugung, dass KI in diesem Bereich nicht wirklich Arbeitsplätze einsparen wird. Die Menge der Arbeit ändert sich nicht, wohl aber ihre Art: Wir werden weniger Zeit mit der Bedienung von Lösungen verbringen und mehr mit dem Lösen von Herausforderungen. Denn auch wenn uns die KI an einigen Stellen Arbeit abnimmt, schaffen die neuen Gefährdungen, die durch KI entstehen, weiterhin genug Aufgaben.