KI-Agenten,
an kurzer Leine.

Ein Chatbot, der sich irrt, schreibt einen falschen Satz. Ein Agent, der sich irrt, schickt die E-Mail, bucht die Erstattung oder löscht den Datensatz. Die Kontrollen sind alte Ideen aus Security und Betrieb: minimale Rechte, Vier-Augen-Freigabe, Audit-Logs, Tests, ein Not-Aus. Neu ist, dass der Input Befehle geben kann. Text in einer E-Mail, auf einer Webseite oder in einem PDF kann den Agenten steuern, also ist jede Berechtigung, die ihr vergebt, eine, die sich ein Angreifer auszuleihen versuchen kann.

Ein Agent ist ein Modell, das in einer Schleife Tools aufruft: Er liest, entscheidet, ruft eine API auf, liest das Ergebnis und entscheidet neu, bis er die Aufgabe für erledigt hält. Drei Eigenschaften zählen für die Sicherheit. Er kann handeln, über Tools. Er wählt den nächsten Schritt selbst, das ist Autonomie. Und er liest Inhalte, die ihr nicht kontrolliert, das ist Input.

OWASP nennt das Fehlerbild Excessive Agency und führt es auf drei Ursachen zurück: zu viel Funktionalität, zu viele Berechtigungen und zu viel Autonomie. Jede Kontrolle in diesem Leitfaden verkleinert eine der drei.2

• Gebt jedem Agenten eine eigene Identität. Keine geteilten Service-Accounts, keine geliehenen Admin-Tokens. Dann sagt das Log, welcher Agent was getan hat, und ihr könnt einen sperren, ohne alle zu stoppen. OWASP führt das als Identity & Privilege Abuse (ASI03).3
• Standardmäßig verbieten. Setzt die Tools auf eine Allow-List und darin die Operationen und Parameterbereiche: „Bestellungen des aktuellen Kunden lesen“, nicht „SQL-Zugriff“.
• Mit den Rechten der Nutzenden handeln, nicht mehr. Wo ein Agent für eine Person arbeitet, sieht er nur, was diese Person sehen darf. Die OWASP-Maßnahme gegen Excessive Agency: Erweiterungen im Kontext der Nutzenden ausführen.2
• Secrets raus aus dem Kontext. Zugangsdaten liegen in der Tool-Schicht, nie in Prompts, im Gedächtnis oder in abgerufenen Dokumenten.
• Setzt Budgets. Limits pro Aufgabe für Schritte, Tool-Aufrufe, Geld und Tokens, mit hartem Stopp. Endlosschleifen sind Unbounded Consumption (LLM10).1
• Behandelt Tool-Server wie Abhängigkeiten. MCP-Server und Plug-ins werden fest versioniert, geprüft und bekommen minimale Rechte (Agentic Supply Chain Vulnerabilities, ASI04).

Eine Freigabe ist nur so gut wie der Mensch und der Bildschirm dahinter.

• Nach Folgen freigeben, nicht nach Zuversicht. Die Sicherheit des Modells ist keine Kontrolle. Gebt frei, was extern, finanziell, unumkehrbar oder über Menschen ist.
• Zeigt die Wirkung, nicht die Begründung. Die genaue E-Mail, den Betrag, den Datensatz vorher und nachher.
• Macht Ablehnen billig. Ein Klick, mit Grund, und jede Ablehnung wandert ins Testset.
• Achtet auf Durchwinken. Wenn Freigaben zwei Sekunden dauern und nie scheitern, ist die Freigabe Dekoration. OWASP führt Human-Agent Trust Exploitation (ASI09): Agenten, die Menschen zur Freigabe überreden.3
• Wer freigibt, braucht Kompetenz und Befugnis. Bei Hochrisiko-Systemen verlangt der AI Act genau das von der menschlichen Aufsicht (Art. 14, Art. 26 Abs. 2).7

Was nicht im Log steht, hat der Agent nicht getan, jedenfalls für eure Prüfer. Protokolliert pro Schritt:

Logs eines Agenten, der für Menschen arbeitet, sind personenbezogene Daten, und sie können zeigen, was eine Person getan hat und wie schnell. Das ist eine DSGVO-Frage (Zweck, Zugriff, Aufbewahrung) und in Deutschland eine Frage für den Betriebsrat. Klärt beides, bevor die erste Log-Zeile geschrieben wird. Betreiber von Hochrisiko-Systemen bewahren die automatisch erzeugten Protokolle mindestens sechs Monate auf (Art. 26 Abs. 6).78

Führt neben dem Lauf-Log ein Änderungs-Log: jede Änderung an Prompt, Tool und Modell, datiert, mit Freigabe. Diese Website führt eines öffentlich, das Ship Log.

Testet den Agenten wie Software, denn er ist Software, deren Verhalten sich ändert, wenn sich Prompt, Modellversion oder ein Tool ändern.

1. 01
   Echte Fälle

   Baut das Set aus echten Fällen, mit erwartetem Ergebnis und erwarteten Tool-Aufrufen, nicht nur dem Endtext.

2. 02
   Den Weg bewerten

   Richtiges Tool, richtige Parameter, keine zusätzlichen Aktionen. Ein Agent, der richtig antwortet und dabei drei Systeme anfasst, die er nicht brauchte, fällt durch.

3. 03
   Angriffsfälle

   Eingeschleuste Anweisungen in E-Mails und Dokumenten, Versuche, Berechtigungen zu überschreiten, Schleifen.

4. 04
   Ein Gate

   Lasst das Set bei jeder Änderung laufen, mit einer Schwelle, der der fachliche Owner zugestimmt hat. Darunter wird nicht ausgeliefert.

5. 05
   Weiter beobachten

   Zieht Stichproben aus echten Läufen in Produktion und führt jede abgelehnte Freigabe und jeden Vorfall zurück ins Set.

Prompt Injection steht auf Platz eins der OWASP-Liste für LLM-Anwendungen (LLM01:2025). Direkte Injection kommt von den Nutzenden. Indirekte Injection versteckt sich in Inhalten, die der Agent liest: einer Webseite, einer E-Mail, einem PDF, einer Kalendereinladung, einem Code-Kommentar. Bei einem Agenten ist das Ziel keine freche Antwort, sondern eine Aktion: das Postfach weiterleiten, die Bankverbindung ändern, den Pull Request öffnen. Die agentische OWASP-Liste nennt das Agent Goal Hijack (ASI01) und Tool Misuse (ASI02).13

Kein Filter hält alles auf. Baut so, dass eine erfolgreiche Injection wenig zu steuern hat:

• Trennt Anweisungen von Daten. Was der Agent liest, sind Daten, nie Befehle, und es ist im Kontext so markiert.
• Brecht die gefährliche Kombination auf. Zugriff auf private Daten, Kontakt mit nicht vertrauenswürdigen Inhalten und ein Weg, Daten hinauszuschicken, sollten sich nicht ohne Freigabe in einem Agenten treffen.
• Prüft vor dem Tool. Typen, Bereiche, erlaubte Empfänger und Domains. Ungeprüfte Ausgaben, die in ein Tool fließen, sind Improper Output Handling (LLM05).
• Schützt das Gedächtnis. Was ein Agent für später speichert, kann heute vergiftet werden und nächste Woche zünden (Memory & Context Poisoning, ASI06).
• Sperrt Code ein. Wenn der Agent Code schreibt oder ausführt, dann in einer Sandbox ohne Netzwerk und ohne Secrets (Unexpected Code Execution, ASI05).
• Greift ihn an. Vor dem Launch und nach jeder größeren Änderung, mit den Injection-Fällen dauerhaft im Testset.

Geht davon aus, dass er danebenliegt. Legt vorher fest, wer ihn stoppen kann, wie, und wer informiert wird.

• Ein Not-Aus. Ein Schalter, der alle Läufe stoppt und die Zugangsdaten des Agenten sperrt, erreichbar für jemanden in Bereitschaft.
• Ein Runbook. Symptome, erste Schritte, wer entscheidet, wer wen informiert.
• Rückgängig. Für jede umkehrbare Aktion einen getesteten Weg zurück. Für jede unumkehrbare einen Grund, warum der Agent sie überhaupt darf.
• Erst sichern. Sichert die Logs des Laufs, bevor irgendwer etwas repariert.
• Schließt den Kreis. Schreibt es auf, nehmt den Fall in die Evals, ändert eine Kontrolle.

Die AI-Act-Uhren binden Anbieter von Hochrisiko-Systemen, bei Anhang III ab 2. Dezember 2027. Betreiber von Hochrisiko-Systemen, die ein Risiko oder einen schwerwiegenden Vorfall feststellen, informieren Anbieter und Behörde (Art. 26 Abs. 5). Die DSGVO gilt, wenn personenbezogene Daten betroffen sind, NIS2, wenn ihr eine wesentliche oder wichtige Einrichtung seid.97

• Klassifiziert den Einsatz, nicht den Agenten. Ein Agent, der Marketingtexte entwirft, hat minimales Risiko. Einer, der Bewerbende rankt oder Beschäftigten nach ihrem Verhalten Aufgaben zuteilt, ist nach Anhang III hochriskant, ab 2. Dezember 2027.5
• Wenn er mit Menschen spricht, sagt er, dass er eine KI ist. Art. 50 Abs. 1, seit 2. August 2026.
• Wer ihn baut, kann sein Anbieter sein. Wer ihn unter eigenem Namen anbietet oder für den Eigengebrauch in Betrieb nimmt, ist Anbieter des KI-Systems. Der Modellanbieter bleibt Anbieter des Modells.
• Wer damit arbeitet, braucht Maßnahmen zur KI-Kompetenz. Leitfaden 02
• Wenn er allein über Menschen entscheidet, spricht auch die DSGVO. Art. 22 DSGVO: keine ausschließlich automatisierten Entscheidungen mit rechtlicher oder ähnlich erheblicher Wirkung, mit engen Ausnahmen.8

§ 87 Abs. 1 Nr. 6 BetrVG gibt dem Betriebsrat ein Mitbestimmungsrecht bei der Einführung und Anwendung technischer Einrichtungen, die dazu bestimmt sind, das Verhalten oder die Leistung der Arbeitnehmer zu überwachen. Das Bundesarbeitsgericht liest „bestimmt“ als „objektiv geeignet“: Was der Arbeitgeber beabsichtigt, spielt keine Rolle.410

Ein Agent, der protokolliert, wer ihn was gefragt hat, wer welche Aktion freigegeben hat und wie lange es gedauert hat, ist fast per Definition geeignet. Rechnet mit Mitbestimmung und plant eine Betriebsvereinbarung ein. Das Arbeitsgericht Hamburg hat im Januar 2024 entschieden, dass die Erlaubnis, ChatGPT über private Accounts zu nutzen, kein Mitbestimmungsrecht auslöste: ChatGPT war nicht auf den Systemen des Unternehmens installiert, und der Arbeitgeber hatte keinen Zugriff auf die Daten, die der Anbieter erhob (ArbG Hamburg, 24 BVGa 1/24). Ein Agent auf eurer Infrastruktur, der eure Logs schreibt, ist der umgekehrte Fall.11

Zwei weitere Regeln helfen. Der Arbeitgeber unterrichtet den Betriebsrat rechtzeitig über geplante Arbeitsverfahren, einschließlich des Einsatzes von KI (§ 90 Abs. 1 Nr. 3 BetrVG). Muss der Betriebsrat KI beurteilen, gilt die Hinzuziehung eines Sachverständigen als erforderlich (§ 80 Abs. 3 BetrVG). Nach dem AI Act informieren Arbeitgeber, die ein Hochrisiko-System am Arbeitsplatz einsetzen, außerdem die Arbeitnehmervertretung und die betroffenen Beschäftigten vor dem Einsatz (Art. 26 Abs. 7).127

Siebzehn Kontrollen in acht Gruppen. Zehn sind als „Pflicht“ markiert: Ohne sie lasst ihr den Agenten nur lesen und Entwürfe machen. Hakt ab, was heute steht, nicht was geplant ist.