KI-Management in der IT

Relevante KI-Regulatorik

Die für uns relevante KI-Regulatorik wird seit 2024 durch die EU-KI-Verordnung (kurz KI-VO) geliefert (siehe [3]). In der KI-VO wird insbesondere beschrieben, an welchen Stellen Komponenten der KI in der IT-Landschaft eine wichtige und ggf. sogar leitende Funktion einnehmen können und wie damit umzugehen ist.

Hierzu dient in der KI-VO die Festlegung des Begriffs KI-System als „ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können“ (siehe Artikel 3 in der KI-VO, [3]). Dabei geht in der Praxis ein KI-System auch vermeintlich über die klassische IT hinaus, wenn die KI-Funktion tief in der Funktion eines Endgeräts integriert ist. Beispiele liegen hier in der Nutzung von KI in der Operational Technology (OT), etwa in der Energieversorgung oder in der Medizintechnik. Es ist aber zu betonen, dass auch in diesen Fällen die KI eine IT-Funktion bleibt und daher trotzdem als Element der IT zu sehen ist, wie in Abbildung 1 illustriert.

Ein besonderer Fokus liegt bei der KI-VO auf sogenannten Hochrisiko-KI-Systemen und damit auf KRITIS-relevanten KI-Systemen. Laut KI-VO, Anhang III, gelten KI-Systeme in folgenden Bereichen als Hochrisiko-KI-Systeme:

• Biometrische Fernidentifizierungssysteme, biometrische Kategorisierung, Emotionserkennung
• KI-Systeme als Sicherheitsbauteile im Rahmen der Verwaltung und des Betriebs im KRITIS-Bereich
• Allgemeine und berufliche Bildung
• Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit
• Prüfung des Anspruchs auf Unterstützungsleistungen, Kreditwürdigkeitsprüfung, Risikobewertung und Preisbildung, Klassifizierung und Bewertung von Notrufen
• Strafverfolgung
• Migration, Asyl und Grenzkontrolle
• Rechtspflege und demokratische Prozesse

Unabhängig jedoch vom Einsatz eines Hochrisiko-KI-Systems durch KRITIS-Betreiber oder der Nutzung eines weniger kritischen KI-Systems durch ein Unternehmen ohne KRITIS-Bezug – um die notwendige solide Verwaltung eines KI-Systems sicherzustellen, sind durch das einsetzende Unternehmen Regelwerke zu schaffen, die einen einheitlichen Umgang mit KI-Systemen im Unternehmen sicherstellen. Solche KI-Unternehmensstandards sind ein Kernelement beim KI-Management und werden entsprechend streng in dem im Folgenden genauer beschriebenen Standard ISO/IEC 42001 „Information technology — Artificial intelligence — Management system“ gefordert (siehe [2]).

KI-Unternehmensstandards

Die Etablierung von KI-Unternehmensstandards bringt einige Herausforderungen mit sich. So müssen nicht nur im Idealfall bereits bestehende Unternehmensstandards wie die zum Risikomanagement und zur Informationssicherheit ergänzt werden, es müssen beispielsweise auch eher IT-ferne Themen wie ethische Nutzungsprinzipen für KI festgelegt werden. Dies kann durch einen Code of Conduct zur KI-Nutzung geschehen. Ein Beispiel ist der Umgang mit sensiblen Daten wie Patientendaten bei KI-Systemen und hierbei die Kontrolle und der Umgang mit von einer KI erzeugten Arbeitsergebnissen. Auch die große Heterogenität des Anwendungsbereichs von KI-Unternehmensstandards aufgrund von integrierten KI-Funktionen in vielen IT-Systemen, IT-Anwendungen und IT-Diensten ist herausfordernd.

Da mag es hilfreich sein, das KI-Management und die zugehörigen Unternehmensstandards nicht ‚von null auf‘ neu zu erfinden, sondern einem Standard folgen zu können. Die Schaffung und Umsetzung eines KI-Managementsystems (KIMS), wie in der ISO/IEC 42001 ([2]) definiert, ist ein zentrales Mittel bei der nachhaltigen Etablierung von KI-Unternehmensstandards. Auch hier finden wir damit wieder eine Parallele zur Welt der Informationssicherheit – ein Informationssicherheitsmanagementsystem (ISMS) ist unerlässlich, um Informationssicherheit nachhaltig in allen Prozessen zu verankern.

Der Standard ISO/IEC 42001 bietet ein Regelwerk, nach dem Institutionen ein KIMS systematisch aufbauen und nachhaltig betreiben können. Die Zertifizierung eines KIMS nach ISO/IEC 42001 ist bereits möglich sowie auch eine persönliche Zertifizierung als ISO/IEC 42001 Lead Implementor oder Lead Auditor [10].

Die Implementierung eines KIMS benötigt ebenfalls Personen, die mit dieser Aufgabe betraut sind. Häufig bringt dies die Schaffung einer virtuellen Organisationseinheit (OE) im IT-Bereich mit sich, die für Aufbau, Umsetzung und nachhaltigen Betrieb des KIMS (oft als Stabsstelle) zuständig ist. Abbildung 2 verdeutlicht eine solche virtuelle OE. Eine virtuelle OE ist dabei analog zu einer Projektorganisation zu sehen, mit dem Unterschied der Dauerhaftigkeit. In dieser virtuellen OE erfolgt dann die Spezifikation und Etablierung der KIMS-Basisprozesse und von Key Performamce Indicators für das KIMS (kurz KIMS-KPIs). Auf diese Weise werden im KIMS alle wesentlichen Phasen eines KI-Systems von Entwicklung, Einführung und Betrieb bis zur Außerbetriebnahme berücksichtigt.

Damit werden wesentliche weitere Ziele von KIMS erreicht, nämlich

• Innovation durch KI-Funktionen in den IT-Diensten, die von der IT bereitgestellt werden, bzw. die intern von der IT genutzt werden, und
• Aufbau von KI-Expertise, d.h. der Aufbau von KI-Kompetenz und -Expertise in der IT durch praktische KI-Erfahrung sowie Beratung anderer Bereiche in der jeweiligen Institution zu KI-Themen, insbesondere in der IT.

Strategische Handlungsfelder

Für die Umsetzung eines KIMS sind damit folgende strategischen Handlungsfelder relevant, die von der IT und darüberhinausgehend umgesetzt werden müssen:

• Erstellung von Richtlinien
• Risiko-Erfassung und -Behandlung
• Berücksichtigung (in) der Informationssicherheit
• Verankerung der (virtuellen) Organisationseinheit für KI
• Erweiterung von IT-Prozessen um KI-Aspekte
• Operative Aspekte im KIMS
• Messung von KIMS-KPIs

Erstellung von Richtlinien:

Der Standard ISO/IEC 42001 fordert zwar nur eine einzelne Richtlinie zur KI (siehe dort Kapitel 5.2 „AI policy“), die dort formulierten Anforderungen gehen aber deutlich über den Inhalt einer einzelnen Richtlinie hinaus. Es werden im Einzelnen eine KI-Sicherheitsrichtlinie, ein KI Code of Conduct und zusätzlich eine Verankerung von KI-Aspekten in bestehenden Richtlinien (z.B. zur Softwareentwicklung oder Beschaffung) gefordert.

Für den KI Code of Conduct sind insbesondere Regelung zu verbotenen Praktiken zu berücksichtigen. Verbotene Praktiken beinhalten dabei eine Reihe von Punkten, die teilweise bereits in der KI-VO vorgesehen und deren Verbot in der EU bereits seit Februar 2025 rechtskräftig ist:

• Irreführung oder Fälschung von Informationen, z.B. durch Deepfakes,
• Biometrische Klassifikation oder Echtzeiterkennung,
• Ableitung von Emotionen einer natürlichen Person am Arbeitsplatz und in Bildungseinrichtungen,
• Manipulation oder böswilliger Einfluss auf menschliche Handlungen und
• Erstellung von Schadcode.

Die Verankerung von KI-Aspekten in bestehenden Richtlinien betrifft ebenso praktische Umsetzungsaspekte aus dem KI Code of Conduct. Ein Beispiel ist hier die Berücksichtigung der Kontrollierbarkeit von KI-Funktionen in der Beschaffung eines KI-Systems. Denn bereits bei der Beschaffung sollte geprüft werden, ob und inwieweit sich KI-Funktionen einschränken lassen oder ob sich KI-Funktionen zielgerichtet ins Rollen- und Berechtigungskonzept für das jeweilige KI-System integrieren lassen.

Risiko-Erfassung und Behandlung:

Das Risiko-Management, inkl. der systematischen Erfassung und Behandlung von Risiken für und durch KI-Systeme ist eine Kernaufgabe in der ISO/IEC 42001. Dabei werden sowohl die Risiken betrachtet, die bei einem KI-System von der KI selbst ausgehen (z.B. Falschmeldungen einer KI) als auch diejenigen Risken, die sich durch das Fehlen einer KI-Funktion ergeben (z.B. unzureichende Abdeckung eines IT-Bereichs). Diese zwei Perspektiven auf eine KI ziehen sich wie ein roter Faden durch den gesamten Standard und damit durch alle für den Nutzer relevanten betrachteten strategischen Handlungsfelder zur KI. Dabei ist es von besonderer Bedeutung, dass sich diese Risiko-Situation auch entsprechend in den KPIs widerspiegelt.

Hochrisiko-KI-Systeme und verbotene Praktiken werden jedoch im Standard ISO/IEC 42001 nur informativ angesprochen (siehe Anhang D von ISO/IEC 42001), der Nutzer des Standards muss diese Elemente selbst berücksichtigen und geltende Gesetze oder andere zutreffende regulatorische Anforderungen erheben.

Berücksichtigung (in) der Informationssicherheit:

Für die verschiedenen in der IT zu betrachtenden Systeme muss wie bisher die Informationssicherheit berücksichtigt und dabei der fehlende oder bereits bestehende KI-Anteil bewertet werden (siehe [11]). Zwischen dem KIMS und der Informationssicherheit muss hierzu ein vitaler Dialog auf allen Ebenen, insbesondere zwischen der jeweiligen Person des KIMS-Beauftragten und des Informationssicherheitsbeauftragten (ISB) etabliert werden. Auch in technischen Prozessen im KI-Umfeld muss Informationssicherheit berücksichtigt werden können, dazu sind Kompetenzen aufzubauen.

Gleichzeitig sollte ein solcher Dialog die Chancen für die Informationssicherheit durch die Integration von KI in operative IT-Sicherheitsprozesse nicht unbesprochen lassen. Hier sei beispielhaft eine mögliche Verbesserung in Bereichen wie Threat Intelligence, Security Incident and Event Management oder Data Loss Prevention genannt und weiter beschrieben im Abschnitt „Operative Aspekte des KIMS“ (siehe unten).

Verankerung der (virtuellen) Organisationseinheit für KI:

Die verschiedenen an Entwicklung, Einführung, Betrieb und Nutzung von KI beteiligten OEs müssen festgelegt werden. Innerhalb der IT müssen den verschiedenen Teams bzw. Gruppen klare Zuständigkeiten zugewiesen und die Schnittstellen zwischen den OEs beschrieben werden. Dies gilt insbesondere für Schnittstellen zwischen OEs innerhalb der IT zu OEs außerhalb der IT. Auch ein Bezug zum Management von Informationssicherheitsvorfällen muss hergestellt werden, denn ansonsten würde im KI-Bereich sofort eine Abweichung von regulativen Vorgaben wie NIS-2 bzw. KRITIS bestehen (siehe [12] und [13]). An dieser Stelle ist zudem eine genaue Beschreibung der Schnittstellen zwischen KI und ISMS erforderlich (siehe [14]).

Hinsichtlich der Virtualität eines KIMS muss eine Entscheidung in der jeweiligen Institution getroffen werden. Es bestehen jedoch sichtbare Vorteile hinsichtlich einer virtuellen Linienorganisation / OE, denn KI ist ein Querschnittsthema, das immer mehr IT-Bereiche betrifft und (ähnlich der Informationssicherheit) durch die gesamte Linienorganisation der IT geht. Außerdem: Team-übergreifende Projekte sind seit gefühlten Ewigkeiten nichts Neues mehr.

Erweiterung von IT-Prozessen um KI-Aspekte:

Die Aufgaben eines KIMS liegen nicht nur im Management von bereits genutzter KI, auch das Aufzeigen von potenziellen KI-Einsatzmöglichkeiten fällt in den Aufgabenbereich einer Organisationseinheit (OE) für KI (siehe hierzu den nächsten Abschnitt). In dem Moment, in dem eine OE für KI geschaffen wird, muss die IT ihre Prozesse erweitern und KI in diese IT-Prozesse integrieren. Insbesondere müssen dabei IT-Prozesse mit abteilungs- und bereichsübergreifenden Schnittstellen und Aktivitäten in Richtung KIMS berücksichtigt und genau modelliert werden, hier hatten wir ja schon das Beispiel der Behandlung von Sicherheitsvorfällen genannt (siehe [14]). Es ist erforderlich, die Aktivitäten im jeweiligen Prozess durch Ergänzung um KI-Aspekte zu verfeinern und dabei die Messung von Effizienz und Effektivität der Prozesse zu berücksichtigen.

Operative Aspekte in KIMS:

Die KI muss im operativen Geschäft verankert werden. Dies beinhaltet zunächst die Identifikation und Spezifikation von KI-Funktionen in den unterstützten IT-Systemen sowie die Zuordnung zum jeweiligen IT-Prozess inklusive der Angabe zu Entwicklung, Beschaffung und Betrieb.

Ein Beispiel liefert die Welt der Kontaktcenter im IT-Service Desk (siehe [15]), denn populär sind hier schon seit geraumer Zeit KI-basierte Chat- und Voice-Bots, die Nutzeranfragen zum Teil schon fallabschließend bearbeiten können. Darüber hinaus können KI-Funktionen zur Bewertung des emotionalen Zustands eines Nutzers eingesetzt werden (inzwischen eine beliebte Funktion). So kann (automatisiert) analysiert werden, wie zufrieden der Nutzer mit der Bearbeitung durch den Agenten ist. Ausgehend von dieser Bewertung kann die KI den Agenten mit Handlungsvorschlägen unterstützen, womit wir unmittelbar im Bereich der oben dargestellten KI-basierten Hochrisiko-Systeme sind.

Interessant ist dabei, dass diese Zuordnung zwei unterschiedliche Perspektiven hat: Einerseits kann die KI selbst den Phasen Entwicklung, Beschaffung und Betrieb unterliegen, und andererseits kann die KI eine dedizierte Funktion in den Phasen selbst unterstützen, wie im Folgenden exemplarisch dargestellt.

Beispielsweise sind im Patch- und Änderungsmanagement ggf. spezifische Tests von KI-Funktionen erforderlich, und spezifische Seiteneffekte bei der Ausführung konventioneller Test Cases auf KI-Systemen können entstehen. Andererseits kann eine KI dabei helfen, die Vielfalt von Patches und Änderungen zu verwalten.

Eine analoge Situation besteht im IT-Monitoring. Hier gibt es einerseits eine Erfassung und Auswertung von KI-bezogenen Daten und Ereignissen, deren KI-spezifische Eigenheiten berücksichtigt werden müssen, wie z.B. False Positives und andere ungewöhnliche Ereignisse. Andererseits gibt es eine zusätzliche Auswertung von Monitoring-Daten durch eine KI im IT-Monitoring-System (siehe Abbildung 3 und auch das bewertende KI-System in Abbildung 1).

In der operativen Informationssicherheit gibt es einerseits eine Erweiterung durch KI im Security Monitoring, andererseits kann KI unerwartete Fehler auslösen, die beachtet werden müssen. Außerdem ist die KI als solche z.B. hinsichtlich der Detektion und Reaktion für KI-bezogene sicherheitsrelevante Ereignisse zu betrachten, wie in Abbildung 3 gezeigt.

Messung von KIMS KPIs:

Pro KI-System muss eine Festlegung vom Grad bzw. der Signifikanz des Beitrags der KI zum System erfolgen. Dies ist wichtig, damit Systeme mit nur einem geringen KI-Beitrag nicht zu hoch gewertet werden. Außerdem muss pro KI-System gemessen werden, mit welchem Arbeitsaufwand die KI selbst in Bewegung gesetzt werden kann. Eine KI, die beispielsweise nur einen geringen Beitrag zu einem Gesamtprozess liefert, aber mit extrem hohem Aufwand in der Entwicklung und / oder im Betrieb verbunden ist, muss zumindest kritisch gewertet werden. Es muss also eine Berücksichtigung aller Basisprozesse in Entwicklung, Beschaffung und Einführung, Umsetzung, Außerbetriebnahme / Migration von KI-Systemen mit unterschiedlichen Perspektiven erfolgen.

Wie bei anderen KPIs muss im KIMS-Bereich eine Granularität der Messung für die verschiedenen KI-relevanten Werte festgelegt werden. Auch hier ist eine „einfache“ Messung typischerweise in 5 Basiswerten – sehr niedrig, niedrig, mittel, hoch, sehr hoch – zu empfehlen.

Für die KIMS KPIs ist es besonders wichtig, dass die in den vorangegangenen Ausführungen dargestellten zwei Perspektiven auf eine KI (Fehlermöglichkeiten vs. Kapazität einer KI z.B. bei einer Verhaltenserkennung) dargestellt werden, denn dieser Aspekt geht deutlich über die klassische Mehrdimensionalität bei Messungen hinaus.

Zusammenfassung und Fazit

Mit der Komplexität der Verwaltung von KI in unterschiedlichsten Bereichen der IT und auch darüberhinausgehend hat ein KI-Managementsystem (KIMS) immer mehr an Bedeutung gewonnen. Endlich liegt mit ISO/IEC 42001 hierzu ein umfassend zertifizierbarer Standard für ein KIMS vor. In dem vorliegenden Artikel wurde beschrieben, wie ein solches KIMS in die strategisch geplante und die laufende IT und Informationssicherheit integriert werden kann. Dabei wurde insbesondere die Entwicklung, Einführung, Betrieb und Außerbetriebnahme von KI-Systemen berücksichtigt. Unter diesen Voraussetzungen ist tatsächlich eine Implementierung eines KIMS sinnvoll möglich. Geht man diesen Schritt nicht, ist die Gefahr des Verlusts des Überblicks über die eigene KI- und damit auch IT-Landschaft ob der Komplexität der Funktionen und Anwendungsfälle einfach zu hoch. Damit scheitert der gesamte KI-Einsatz.

Quellen

[1] Dr. Simon Hoff, „Künstliche Intelligenz erobert die IT “, Netzwerk Insider Ausgabe Dezember 2018, verfügbar unter: https://www.comconsult.com/kuenstliche-intelligenz/

[2] ISO/IEC 42001, „Information technology — Artificial intelligence — Management system“, 1. Auflage, 23. Dezember 2023

[3] 2024/1689, „VERORDNUNG (EU) 2024/1689 DES EUROPÄISCHEN PARLAMENTS UND DES RATES vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Verordnung über künstliche Intelligenz)“, verfügbar unter: https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng

[4] ENISA, “Multilayer Framework for Good Cybersecurity Practices for AI”, verfügbar unter: https://www.enisa.europa.eu/publications/multilayer-framework-for-good-cybersecurity-practices-for-ai

[5] BSI, “Kriterienkatalog für KI-Cloud-Dienste – AIC4“, verfügbar unter: https://www.bsi.bund.de/DE/Themen/Unternehmen-und-Organisationen/Informationen-und-Empfehlungen/Kuenstliche-Intelligenz/AIC4/aic4_node.html

[6] BSI, Test Criteria Catalogue for AI Systems in Finance”, verfügbar unter: https://www.bsi.bund.de/SharedDocs/Downloads/EN/BSI/KI/AI-Finance_Test-Criteria.html?nn=129146

[7] BSI, „Kriterienkatalog des BSI zur Integration von extern bereitgestellten generativen KI-Modellen in eigene Anwendungen“, verfügbar unter: https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/KI/Kriterienkatalog_KI-Modelle_Bundesverwaltung.html

[8] Bitkom, „KI & Datenschutz – Praxisleitfaden“, verfügbar unter: https://www.bitkom.org/Bitkom/Publikationen/KI-Datenschutz-Praxisleitfaden

[9] Bitkom, „Generative KI um Unternehmen“, verfügbar unter: https://www.bitkom.org/Bitkom/Publikationen/Generative-KI-im-Unternehmen

[10] Zertifizierungen des KIMS beispielsweise über den TÜV Süd, siehe https://www.tuvsud.com/de-de/dienstleistungen/auditierung-und-zertifizierung/cyber-security-zertifizierung/iso-42001; Zertifizierungen zum ISO 42001 Lead Implementer oder Lead Auditor beispielsweise über die PECB, siehe https://pecb.com/de/education-and-certification-for-individuals/iso-iec-42001.

[11] Dr. Simon Hoff, Dr. Markus Ermes, „SecOps: Operative Informationssicherheit“, Netzwerk Insider Ausgabe Juni 2019, verfügbar unter: https://www.comconsult.com/secops-operative-sicherheit-2/

[12] BSI, „EU-Richtlinien zur Netzwerk- und Informationssicherheit“, verfügbar unter: https://www.bsi.bund.de/DE/Das-BSI/Auftrag/Gesetze-und-Verordnungen/NIS-Richtlinien/nis-richtlinien_node.html

[13] BSI, Kritische Infrastrukturen, verfügbar unter: https://www.bsi.bund.de/DE/Themen/Regulierte-Wirtschaft/Kritische-Infrastrukturen/kritis_node.html

[14] ISO/IEC 27035 „Information technology – Information security incident management”, Teil 1 bis Teil 4, 2020 bis 2024

[15] Leonie Herden, „Wie Chat- und VoiceBots das Contact Center von morgen verändern“, Webinar vom 26.06.2025, verfügbar unter: https://www.comconsult.com/wie-chat-und-voicebots-das-contact-center-von-morgen-veraendern/; Leonie Herden und Nils Wantia werden in der „Sonderveranstaltung zum KomTK des BSI“ am 29.10.2025 ebenfalls auf diesen Punkt eingehen, verfügbar unter: https://www.comconsult.com/sonderveranstaltung-zum-komtk-des-bsi/