Sichere generative KI – Eindrücke vom IT-Sicherheitskongress des BSI 2026

Sichere generative KI

Luise Kranich (BSI) fand in ihrem Impulsvortrag klare Worte zur Relevanz dieser Technologie. Die zentrale Botschaft: sichere Innovation im Bereich KI kann nur durch das Zusammenspiel zweier parallel agierender Gruppen gelingen.
Zum einen braucht es eine experimentierfreudige Gemeinschaft aus Wissenschaft und Praxis, die kontinuierlich neue Anwendungen entwickelt und die Grenzen der KI regelmäßig neu definiert.
Zum anderen ist eine regulatorische Instanz notwendig, die Leitplanken setzt, Innovation ermöglicht und zugleich ein hohes Maß an Sicherheit gewährleistet.

Um diese Themen praxisnah zu vertiefen, wurden drei Vorträge für diesen Themenblock ausgewählt:

• „KI-Browser im Unternehmenskontext: Chancen, Risiken und die strategische Bedeutung von Enterprise-Browsern“
• „Praxisorientierte Strategien zur Mitigation von Cybersicherheitsrisiken generativer KI-Modelle im unternehmerischen Kontext“
• „Small Language Models unter der Lupe: Optimierungsstrategien für sicherheitskritische Anwendungen“

Enterprise-Browser

Im ersten Vortrag stellte Liam Radetz einen Anwendungsfall vor, der versucht, experimentelle Ansätze und regulatorische Anforderungen zusammenzubringen. Dabei ging es vor allem um Chancen und Risiken sogenannter KI-Browser.

Gemeint sind Webbrowser, die nativ KI-Funktionen integrieren. Nutzende können sich beispielsweise Webseiten automatisch zusammenfassen lassen. Wer regelmäßig Google nutzt, hat solche Funktionen vermutlich schon gesehen: Zu einer Suchanfrage wird direkt eine KI-generierte Antwort angezeigt, meist ergänzt durch passende Links. Der Browser von Google setzt hier auf das Modell „Gemini“ und ermöglicht es unter anderem, mit den Suchergebnissen weiter zu interagieren [1].

Solche Funktionen bringen neue Risiken mit sich. Ein Beispiel ist „Indirect Prompt Injection“ [2]. Dabei werden manipulierte Webseiteninhalte genutzt, um die KI dazu zu bringen, sensible Daten preiszugeben oder Inhalte zu verfälschen.

Als mögliche Gegenmaßnahme wurden sogenannte Enterprise-Browser vorgestellt. Diese bieten im Vergleich zu herkömmlichen Browsern zusätzliche Sicherheitsmechanismen und lassen sich zentral verwalten. Zu den Funktionen gehören unter anderem:

• Zero-Trust-Ansätze
• Kontrolle von Erweiterungen
• Kryptografische Datenisolation
• Unterstützung der Nutzenden in Echtzeit
• Auditierbarkeit
• Härtung gegen Exploits

Der Vortrag hat anhand des Beispiels der Enterprise-Browser gezeigt, wie sich Innovation und Sicherheitsanforderungen zumindest teilweise zusammenbringen lassen. Viele der neuen KI-Funktionen sind bereits im Alltag angekommen. Unternehmen, die solche Funktionen einsetzen möchten, sollten sich frühzeitig damit auseinandersetzen, wie sich ihre Systeme gegen neue KI-basierte Risiken absichern lassen.

Cybersicherheitsrisiken generativer KI-Modelle

Der Student Yasin Bachiri stellte eine Arbeit vor, die sich damit beschäftigt, wissenschaftlich identifizierte Risikoszenarien rund um generative KI-Modelle in ein an ISO/IEC 27005:2022 angelehntes Risikobewertungsformat zu überführen.
Dafür wurde „RAMA – Risk Assessment & Mitigation Artifact für generative KI-Modelle“ entwickelt. Das Excel-Tool bietet eine kompakte Übersicht über verschiedene KI-Risiken und passende Maßnahmen. Es soll als literaturbasierte Kalibrierungsvorlage unter anderem für ISBs, CISOs, Datenschutzbeauftragte, Berater und Auditoren dienen.
Im Vortrag wurde deutlich, dass man das Rad beim Risikomanagement nicht neu erfinden muss, um KI-Risiken behandeln zu können. Die eigentliche Herausforderung liegt darin, mit der schnellen Entwicklung Schritt zu halten, neue Risiken früh zu erkennen und passende Maßnahmen abzuleiten.

Small Language Models

In diesem Vortrag haben Carmen Dencker und Alexander Fischer über Small Language Models referiert. Nachdem ich mich Anfang April in einem Artikel selbst mit der Frage beschäftigt habe, wie Small Language Models (SLMs) Unternehmen dabei helfen können, KI-Modelle lokal zu betreiben [3], war dieser Vortrag für mich besonders spannend.

Unter dem Titel „Small Language Models unter der Lupe: Optimierungsstrategien für sicherheitskritische Anwendungen“ wurde herausgearbeitet, wie Sprachmodelle auf stark eingeschränkter Hardware effizient genutzt werden können. Die lokale Betreibbarkeit und die vollständige Kontrolle über die Architekturen der Modelle sorgen dafür, dass die Datenhoheit beim eigenen Unternehmen bleibt und keine externen Abhängigkeiten entstehen. Mögliche Anwendungsfälle sind:

• die Auswertung sicherheitsrelevanter Lageberichte
• die Erstellung von Bedrohungs- und Risikoanalysen
• die Planung und Bewertung operativer Maßnahmen
• der Schutz und die Analyse kritischer Infrastrukturen
• die Verarbeitung klassifizierter Informationen in nationalen und internationalen Kooperationskontexten
• sensible Verfahren im Krisen- und Katastrophenmanagement oder in sicherheitsrelevanten Beschaffungs- und Vergabeprozessen

Eine zentrale Erkenntnis dieses Vortrags war, dass Small Language Models durchaus das Potenzial haben, auch auf schwacher Hardware gute Ergebnisse zu liefern. Out-of-the-box ist dies jedoch nur in den seltensten Fällen möglich. Um die bestmöglichen Ergebnisse zu erreichen, sollten die Modelle hinsichtlich des angestrebten Use Cases angepasst werden (Fine-Tuning [4]).
Interessant war, dass für die untersuchte Klassifikationsaufgabe das „Few-Shot-Prompting“ [5], also ein hochgradig optimierter Prompt, die besten Ergebnisse geliefert hat.

Zusammenfassung

Der Themenblock „Sichere generative KI“ hat einen guten Überblick über das Thema gegeben. In dem Vortrag zu Forschungsergebnissen aus SLM-Tests lässt sich die eingangs erwähnte, experimentierfreudige, wissenschaftliche Gruppe wiederfinden. Das Risk-Assessment-Tool „RAMA“ mit starkem Bezug zu KI-Risiken stellt beispielhaft einen Bereich der regulatorischen Instanz dar. Die Präsentation zu Enterprise-Browsern zeigte, wie sich wissenschaftlicher Fortschritt in regulatorische Leitplanken überführen lässt.

Es ist wichtig zu erwähnen, dass sich das Thema KI in der IT-Sicherheit nicht allein unter dem Themenblock „Sichere generative KI“ zusammenfassen lässt. Zahlreiche weitere Kongressbeiträge aus unterschiedlichen Themenbereichen standen ebenfalls im Zeichen der KI oder wiesen zumindest einen Bezug dazu auf. Dabei wurde erneut deutlich, dass KI mittelfristig ein integraler Bestandteil nahezu aller Bereiche der IT-Sicherheit sein wird – und nicht mehr als eigenständiges Thema betrachtet werden darf.

Meine Kolleginnen Dr. Kathrin Stollenwerk und Maren Poppe haben ebenfalls den IT-Sicherheitskongress besucht und die spannenden Eindrücke zum Themenblock „NIS-2-Implementierung“ in einem eigenen Blog zusammengefasst.

Literaturverzeichnis

[1] „Gemini in Chrome,“ [Online]. Available: https://gemini.google/at/overview/gemini-in-chrome/?hl=de. [Zugriff am 26 04 2026].
[2] „Indirect Prompt Injections – Intrinsische Schwachstelle in anwendungsintegrierten KI-Sprachmodellen,“ [Online]. Available: https://www.bsi.bund.de/SharedDocs/Cybersicherheitswarnungen/DE/2023/2023-249034-1032_csw.html. [Zugriff am 20 04 2026].
[3] F. Horn, „Small Language Models – die effiziente und sichere OnPrem-Lösung?,“ Der Netzwerk Insider, pp. 14-19, 01 04 2026.
[4] D. Bergmann, „Was ist Feinabstimmung?,“ [Online]. Available: https://www.ibm.com/de-de/think/topics/fine-tuning. [Zugriff am 26 04 2026].
[5] V. Gadesha, „Was ist Few-Shot-Prompting?,“ [Online]. Available: https://www.ibm.com/de-de/think/topics/few-shot-prompting. [Zugriff am 26 04 2026].