Ansatz
Agentische KI, mit dem Menschen darin
Ein KI-Agent antwortet nicht nur. Er plant, nutzt Werkzeuge und handelt, Schritt für Schritt, bis ein Ziel erreicht ist. Das macht ihn nützlich — und verschiebt das Risiko: von dem, was das Modell sagt, zu dem, was es tun darf. Mein Ansatz beginnt dort.
Mein Gesamtansatz: Das große Ganze
Wie ein Agent arbeitet
Ein Agent verfolgt ein Ziel in einer Schleife: Ziel setzen, planen, mit Werkzeugen handeln, das Ergebnis beobachten, entscheiden, was als Nächstes kommt — und das wiederholen, bis das Ziel erreicht ist oder ein Limit greift.
Bausteine
- Sprachmodell — das Reasoning: was als Nächstes Sinn ergibt.
- Werkzeuge — was der Agent tatsächlich tun kann (suchen, schreiben, aufrufen, speichern).
- Kontext — was er über die Aufgabe, die Person und die Grenzen weiß.
- Orchestrierung — der Code, der die Schleife führt, Limits setzt und jeden Schritt aufzeichnet.
Autonomie ist eine Entscheidung, kein Standard
- Assistent: schlägt vor; Menschen erledigen alles.
- Mensch in der Schleife: der Agent handelt; ein Mensch genehmigt jeden Schritt, der zählt.
- Mensch an der Schleife: der Agent handelt; ein Mensch überwacht und kann eingreifen.
- Autonom: keine routinemäßige menschliche Beteiligung.
Organisationen sollten Autonomie Aufgabe für Aufgabe verdienen. Die meisten Use Cases im öffentlichen Sektor starten in der Schleife — und manche sollten dort bleiben, besonders dort, wo Entscheidungen über Menschen betroffen sind.
Wofür ich gestalte
Die Risiken verschieben sich, sobald ein System handeln darf:
- Falsche Handlungen statt nur falscher Worte
- Kleine Fehler, die sich über Schritte aufsummieren
- Versteckte Anweisungen in Dokumenten oder E-Mails, die der Agent liest (Prompt Injection)
- Mehr Zugriff, als die Aufgabe braucht
- Personenbezogene Daten in Prompts und Logs
- Niemand kann sagen, wer was entschieden hat
Schutz in drei Schichten
Technisch
- Least Privilege
- Freigaben vor allem, was irreversibel oder nach außen geht
- Getrennte Umgebungen
- Alles, was der Agent liest, als Daten behandeln — nie als Anweisungen
- Limits für Schritte, Zeit und Kosten
- Vollständiges Logging
- Rollback
Organisatorisch
- Eine benannte Verantwortung pro Agent
- Use-Case-Bewertung vor dem Bau
- Tests mit echten Fällen
- Monitoring nach dem Start
- Klare Übergabe an Menschen
- Schulung, damit Mitarbeitende wissen, was der Agent tut und wo er aufhört
Regulatorisch
- Risikoklasse nach EU AI Act und Pflichten zur menschlichen Aufsicht
- Datenschutz, einschließlich besonderer Regeln für soziale Daten in öffentlichen Einrichtungen
- Informationssicherheit
Was ich beim Bauen eines Agents gelernt habe
Der Job-Agent von EquitAI sucht Rollen und entwirft Lebensläufe und Anschreiben. Ich habe Aufsicht in das Datenmodell gebaut: nichts wird ohne Freigabe der Person versendet, jedes Element trägt einen Status und eine Autorenschaft (KI-generiert, KI-bearbeitet, von der Person geschrieben), und die Version vor dem Agent bleibt für den Rollback erhalten.
Und eine Lehre aus dem Bau selbst: ein KI-Coding-Agent, mit dem ich gearbeitet habe, hatte mehr Zugriff als nötig und hat selbstständig in Produktion deployed. Am Produkt war nichts falsch gestaltet — aber die Leitplanken um den Agent fehlten. Ich habe Entwicklung und Produktion getrennt, seine Zugangsdaten entfernt und jeden Release zu einem bewussten menschlichen Schritt gemacht. Least Privilege ist für mich keine Theorie; ich habe gesehen, was ohne sie passiert.
Wo eine Organisation anfängt
Mit risikoarmen internen Aufgaben beginnen (Wissenssuche, Entwürfe), eine Person genehmigen lassen, bevor etwas das Haus verlässt, und messen, bevor Autonomie ausgeweitet wird.