- Unternehmen führen agentische KI – Systeme, die ohne menschliche Anleitung autonom handeln – in rasantem Tempo ein, doch die Governance hält nicht Schritt, was bei der Anwendung große Risiken birgt.
- Eine Umfrage der Drexel University unter mehr als 500 Datenexperten ergab, dass 41 % der Organisationen agentische KI bereits im täglichen Betrieb einsetzen, nicht nur in Testphasen.
- Allerdings glauben nur 27 % der Organisationen, dass ihr Governance-Rahmenwerk reif genug ist, um diese Systeme zu überwachen und zu kontrollieren.
- Governance bedeutet hier keine starre Regulierung, sondern die klare Definition von Verantwortung, die Überwachung des KI-Verhaltens und die Festlegung, wann der Mensch eingreifen muss.
- Diese Diskrepanz wird gefährlich, wenn die KI in realen Situationen autonom handelt, bevor der Mensch reagieren kann.
- Beispielsweise blieben bei einem Stromausfall in San Francisco autonome Robotaxis an einer Kreuzung stecken und behinderten Rettungsfahrzeuge, obwohl das System „wie geplant“ funktionierte.
- Im Finanzwesen kann KI zur Betrugserkennung Transaktionen automatisch in Echtzeit blockieren; Kunden erfahren dies erst, wenn die Karte abgelehnt wird, was die Frage aufwirft, wer haftet, wenn die KI irrt.
- Viele Organisationen haben zwar Menschen „in der Schleife“ (Human-in-the-loop), diese greifen jedoch erst ein, nachdem die KI eine Entscheidung getroffen hat, wodurch die Überwachung eher einer Fehlerbehebung als einer echten Verantwortlichkeit gleicht.
- Ohne Governance von Anfang an summieren sich kleine Probleme und untergraben das Vertrauen, selbst wenn das System keine offensichtlichen Defekte aufweist.
- Die Umfrage zeigt, dass Organisationen mit guter Governance die anfänglichen Vorteile autonomer KI besser in langfristige Effizienz und Umsatzwachstum ummünzen.
- Die OECD betont, dass Rechenschaftspflicht und menschliche Aufsicht von Anfang an eingeplant werden müssen und nicht erst nachträglich hinzugefügt werden dürfen.
Fazit: Unternehmen führen agentische KI (autonome Systeme ohne menschliche Anleitung) schnell ein, aber die Governance kommt nicht hinterher, was Risiken schafft. 41 % der Firmen nutzen sie bereits operativ, doch nur 27 % verfügen über eine starke Governance. Governance meint hier: klare Verantwortung, Verhaltensüberwachung und Eingriffspunkte. Oft greifen Menschen erst nach der KI-Entscheidung ein, was Aufsicht zur bloßen Fehlerkorrektur statt zu echter Verantwortlichkeit macht.
