Governance für KI-Agenten: das Problem, das niemand anpacken will
Wenn KI Datensätze ändern, Nachrichten senden oder Prozesse starten kann, sind Berechtigungen, Nachvollziehbarkeit und Wiederherstellung Pflicht.
Von Synthex-Team
Das Problem ändert sich, wenn KI handeln kann
Ein Modell, das Text erzeugt, hat begrenzte Reichweite. Ein Agent, der mit Werkzeugen verbunden ist, kann Informationen abfragen, Datensätze ändern, Nachrichten senden oder Prozesse starten. Ab da ist die Steuerung von KI Teil der operativen Kontrolle.
Das Prinzip der geringsten Rechte
Das Prinzip der geringsten Rechte ist der Ausgangspunkt: Jeder Agent bekommt nur die Rechte, die er braucht. Ein Agent, der das CRM abfragt, hat keinen Grund, Datensätze zu löschen, und einer, der eine E-Mail entwirft, muss sie nicht automatisch versenden. Lesen, Vorschlagen und Ausführen zu trennen verringert die Folgen von Fehlern.
Handlungen protokollieren
Auch Nachvollziehbarkeit gewinnt an Bedeutung. Das System sollte festhalten, welche Handlung angefordert wurde, welche Informationen verwendet wurden, welches Werkzeug aufgerufen wurde und welches Ergebnis es lieferte. Diese Protokolle ermöglichen die Ursachenanalyse von Vorfällen und das Verstehen, warum ein Ablauf eine bestimmte Entscheidung traf.
Freigaben und Grenzen
Sensible Handlungen können eine Freigabe, Mengenbegrenzungen, vorherige Bedingungen oder eine zweite Prüfung erfordern. Nicht jede Handlung braucht denselben Kontrollgrad: Eine beantwortete Frage und die Änderung eines Finanzfelds sollten nicht exakt dieselbe Richtlinie teilen.
Was passiert, wenn ein Agent versagt
Wiederherstellung gehört zum Entwurf. Es muss Wege geben, den Prozess zu stoppen, sicher zu wiederholen, ein Werkzeug zu sperren, eine Ausnahme zu eskalieren und, wo das System es erlaubt, einen Vorgang zurückzunehmen. Die wichtige Frage ist, was passiert, wenn er es falsch tut.
Erst steuern, dann Autonomie ausweiten
Autonomie sollte schrittweise und auf Basis von Evidenz wachsen. Zuerst beobachten, dann Handlungen vorschlagen, später risikoarme Aufgaben ausführen und schließlich die Rechte erweitern, sobald Kontrollen und Kennzahlen zeigen, dass das System zuverlässig ist. Governance ermöglicht das Skalieren, ohne die Automatisierung zur Blackbox werden zu lassen.