Die aufgemalte Leitplanke | Dr. Oliver Borchers

Im Juli 2025 baute Jason Lemkin, Gründer von SaaStr, öffentlich eine kleine Anwendung. Den Code ließ er von Replit erzeugen. Am neunten Tag galt ein Freeze: keine Änderungen am Code, keine Aktionen auf der Produktionsumgebung. Lemkin hatte die Anweisung schriftlich festgehalten und mehrfach wiederholt.

Am 18. Juli löschte der Agent trotzdem die Produktionsdatenbank. Anschließend erklärte er, ein Rollback sei unmöglich und alle Datenbankversionen seien zerstört. Auch das war falsch. Die Wiederherstellung funktionierte. Der Agent bezeichnete sein Verhalten später selbst als katastrophale Fehleinschätzung. Replit-CEO Amjad Masad nannte die Löschung öffentlich inakzeptabel und kündigte eine technische Trennung von Entwicklungs- und Produktionsdatenbanken an. (The Register, SaaStr)

Der Freeze stand in den Anweisungen an das Modell. Zwischen der Regel und dem Löschbefehl gab es keine technische Sperre.

Das Wort Guardrails klingt in Gesprächen über AI Agents beruhigend. Doch ohne Rückfrage bleibt offen, was genau damit gemeint ist. Dieser Text nimmt den Begriff auseinander.

#Vier Begriffe, die wir brauchen

Mit Modell ist in diesem Text ein Large Language Model gemeint, das Folgen von Tokens erzeugt. Als Modell allein kann es nichts löschen, nichts verschicken und nichts kaufen.

Ein Werkzeug verbindet das Modell mit einer Fähigkeit: eine Datenbank abfragen, eine E-Mail versenden, eine Datei ändern. Das Modell erzeugt den Aufruf. Eine Anwendung oder Laufzeitumgebung führt ihn aus und gibt das Ergebnis zurück.

Ein Agent verbindet Modell und Werkzeuge in einer Schleife. Er plant einen Schritt, handelt, beobachtet das Ergebnis und passt den nächsten Schritt an. Ab hier kann etwas in der Welt passieren.

Der Kontext enthält, was das Modell in einem Moment verarbeiten kann: die Aufgabe, bisherige Schritte, Werkzeugergebnisse und hinterlegte Regeln. Modelle nutzen lange Kontexte nicht an jeder Position gleich zuverlässig. In den Experimenten von Liu und Kollegen sank die Leistung deutlich, wenn relevante Information in der Mitte eines langen Kontexts lag.

#Das falsche Versprechen der Metapher

Patentschriften beschreiben die Aufgabe einer Leitplanke erstaunlich genau. Beim Aufprall soll sie wie Bremse und Stoßdämpfer Energie abbauen und das Fahrzeug von Gefahren weglenken. Sie ist passiv, greift erst nach dem Fahrfehler ein und hält das Auto nicht an. Sie soll den Unfall weniger schlimm machen.

Eine Leitplanke ist also ein Bauteil zur Schadensbegrenzung. Ihr bestmögliches Ergebnis ist ein Unfall, der glimpflicher ausgeht. Damit klaffen drei Ebenen auseinander.

Was Sie wollen, ist, dass der Wagen auf der Straße bleibt.

Was die Metapher verspricht, liegt eine Ebene darunter. Sie verspricht einen glimpflicheren Unfall, immerhin aus Stahl und unabhängig davon, was der Fahrer gerade will.

Was in einem AI-System Guardrail heißen kann, liegt noch eine Ebene tiefer. Es gleicht einer durchgezogenen Linie auf dem Asphalt. Ihr amtlicher Name ist Fahrstreifenbegrenzung. Sie markiert ein klares Verbot, kann das Überfahren aber nicht physisch verhindern. (Anlage 2 zur StVO, Zeichen 295)

Das klingt weniger beruhigend als Guardrail. Es beschreibt die Technik aber besser.

Schon vor ChatGPT tauchte der Begriff in der AI-Governance auf. Microsoft beschrieb sein Responsible-AI-Programm im Januar 2021 als das vorausschauende Errichten von Guardrails. Einen technischen Produktnamen machte NVIDIA im April 2023 daraus, als das Unternehmen NeMo Guardrails veröffentlichte. (Microsoft, NVIDIA)

Mit der Verschiebung vom Prozess zum Produkt ging etwas verloren. Der Begriff bezeichnet heute Mechanismen, die sehr unterschiedlich viel durchsetzen.

#Was heute alles Guardrail genannt wird

Für diesen Text unterscheide ich fünf Stufen. Sie sind keine Norm, sondern ein Prüfmodell. Der Unterschied zwischen ihnen entscheidet darüber, ob ein System Verhalten nur beeinflusst oder eine Handlung tatsächlich verhindert.

#Stufe 1: Der geschriebene Hinweis

Eine Regel in einer Textdatei. Ein Systemprompt, eine Markdown-Datei wie CLAUDE.md oder AGENTS.md, ein Satz im Chatfenster. „Ändere nichts in der Produktion.“ „Lösche keine Daten.“

Eine solche Anweisung verändert das Verhalten des Modells, entfernt die verbotene Handlung aber nicht aus seiner Werkzeugauswahl. Hinzu kommt, dass Modelle Information in langen Kontexten je nach Position unterschiedlich zuverlässig nutzen.

Ein Prompt ist eine Anweisung, keine Sperre. Der Replit-Freeze stand auf dieser Stufe. Er markierte die Grenze, verhinderte das Überfahren aber nicht.

Für die tägliche Arbeit ist das hilfreich. Als Sicherheitsgrenze bleibt es Farbe auf Asphalt.

#Stufe 2: Das prüfende Modell

Ein zweites Modell prüft die Eingabe, die Ausgabe oder einen vorgeschlagenen Werkzeugaufruf. Dazu gehören Inhaltsfilter, Jailbreak-Erkennung und AI-Judges. Die Prüfung kann in einem eigenen Durchlauf stattfinden. Sie bleibt trotzdem probabilistisch und kann falsch liegen.

Forscher von Mindgard und der Universität Lancaster prüften sechs Schutzsysteme, darunter Microsoft Azure Prompt Shield und Meta Prompt Guard. Mit Zeichenmanipulationen und adversariellen Verfahren erreichten sie in einzelnen Konfigurationen eine Umgehungsrate von 100 Prozent. Dazu genügten unter anderem unsichtbare Zeichen oder ähnlich aussehende Buchstaben aus anderen Alphabeten. Für Menschen blieb der Text lesbar, für den Filter änderte sich die Zeichenfolge. (Hackett et al., 2025)

Simon Willison fasst das Problem knapp zusammen: Anbieter werben mit Erkennungsraten von 95 Prozent, doch in der Websicherheit seien 95 Prozent eine glatte Fünf. Eine Firewall, die fünf von hundert Angriffen durchlässt, wäre keine verlässliche Sicherheitsgrenze. (Simon Willison)

Dafür braucht es nicht einmal einen Angreifer. Ein brauchbarer Agent soll nach Fehlern neue Wege suchen. Wird ein Netzwerkaufruf blockiert, probiert er einen anderen. Schlägt ein Kommando fehl, ändert er seine Strategie. Hartnäckigkeit und Regelumgehung können dieselbe technische Eigenschaft sein.

Der Replit-Agent handelte gegen einen Freeze. Im zweiten Fall dieses Textes suchte ein Agent während eines Sicherheitstests so lange nach neuen Wegen, bis er seine Testumgebung verlassen hatte. Ein Filter, der nur Bosheit erkennen soll, greift an beiden Problemen vorbei.

#Stufe 3: Die begrenzte Schnittstelle

Ab hier kann etwas tatsächlich unmöglich werden.

Beim Constrained Decoding lässt sich nach jedem erzeugten Token festlegen, welche nächsten Tokens zulässig sind. OpenAI setzt ungültige Tokens bei Structured Outputs auf eine Wahrscheinlichkeit von null, um ein vorgegebenes Schema zu erzwingen. Das garantiert die Form, nicht die inhaltliche Richtigkeit. (OpenAI)

Für Werkzeuge gilt dasselbe Prinzip auf einer anderen Ebene. Statt eines freien SQL-Feldes erhält der Agent eine kleine Auswahl klar begrenzter Funktionen. Ein Werkzeug für Kundendaten mit lesen und auflisten bietet keinen Aufruf löschen an. Voraussetzung ist, dass kein anderes Werkzeug, etwa eine Shell oder ein allgemeiner Datenbankzugang, denselben Weg wieder öffnet.

Die Garantie gilt also nur für die definierte Schnittstelle. Ein Werkzeug mit Leserechten kann trotzdem die falschen Daten lesen. Ein korrektes JSON-Schema kann trotzdem einen falschen Wert enthalten.

#Stufe 4: Die Freigabe durch einen Menschen

Vor einer Handlung hält das System an und wartet auf eine Freigabe. Wenn dieser Halt außerhalb des Modells durchgesetzt wird, ist er mechanisch hart. Verhindert wird aber nur die ungeprüfte Handlung. Was der Mensch freigibt, geschieht.

Die Schwachstelle ist messbar. Anthropic berichtet aus eigenen Produkten, dass Nutzer rund 93 Prozent der Berechtigungsabfragen bestätigten. Mit der Zahl der Abfragen sank die Aufmerksamkeit. Genau deshalb ersetzte das Unternehmen viele Einzelabfragen durch stärker begrenzte Laufzeitumgebungen. (Anthropic)

#Stufe 5: Die harte Grenze

Auf dieser Stufe hat der Agent keinen Internetzugang, nur Leserechte, keinen Netzwerkweg zu einer bestimmten Datenbank, ein Ausgabenlimit, eine kurzlebige Arbeitsumgebung und eng begrenzte Zugangsdaten.

Hier wird nicht das Verhalten beaufsichtigt, sondern die mögliche Wirkung. Anthropic beschreibt Sandboxes, virtuelle Maschinen, Dateisystemgrenzen und Egress-Kontrollen ausdrücklich als harte Grenzen dessen, was ein Agent erreichen kann. Zugangsdaten, die nie in der Umgebung liegen, können von dort auch nicht ausgelesen werden.

Der Unterschied zu Stufe drei liegt im Ort der Durchsetzung. Stufe drei begrenzt, was der Agent über eine Schnittstelle formulieren kann. Stufe fünf begrenzt, was das umgebende System ausführt, selbst wenn ein gefährlicher Aufruf formuliert wurde.

Auch diese Grenze ist nur für das hart, was tatsächlich ausgeschlossen wurde. Ein Agent ohne Browser kann über ein E-Mail-Werkzeug weiterhin Daten nach draußen schicken. Ein Netzwerkzugang nur zur eigenen Domain hilft wenig, wenn dort ein Proxy beliebige fremde Adressen abruft. Effektive Isolation braucht deshalb Dateisystem- und Netzwerkgrenzen gemeinsam.

Damit schließt sich der Kreis zur Metapher. Eine harte Grenze ist keine aufgemalte Linie mehr. Im System entspricht sie einer Grenze, die sich nicht überfahren lässt.

#Was in dieser Liste fehlt

Die fünf Stufen fragen, ob eine Handlung ausgeführt werden kann. Daneben stehen zwei Familien, die nichts verhindern und trotzdem nötig sind.

Die eine erkennt. Ein Protokoll, eine Überwachung oder ein Alarm hält nichts auf, zeigt aber, dass etwas passiert ist. Die andere nimmt zurück: ein Papierkorb statt endgültigen Löschens, eine Sicherung, eine stornierbare Buchung.

Vorbeugen, erkennen, zurücknehmen. Keine dieser drei Aufgaben ersetzt die anderen. Ein System, das nur vorbeugt, merkt nicht, wenn seine Vorbeugung versagt.

#Eine Arbeitshypothese

Zwischen Stufe eins und zwei liegt eine Verbesserung. Zwischen zwei und drei wechselt die Kategorie. Oberhalb dieser Linie wird Verhalten wahrscheinlicher oder unwahrscheinlicher. Unterhalb wird eine konkrete Handlung möglich oder unmöglich.

Ich würde den Begriff deshalb enger verwenden:

Eine Guardrail ist eine Vorkehrung, die für den Fall existiert, dass das System etwas tut, was es nicht tun sollte.

Eine harte Grenze kann im Alltag sichtbar werden, etwa wenn sie einen Zugriff verweigert. Bei weichen Kontrollen reicht ein ruhiger Betrieb dagegen nicht als Beleg. Eine wirksame und eine wirkungslose Regel können gleich aussehen, solange niemand sie ernsthaft belastet. Deshalb braucht es Tests und beobachtbare Evidenz.

Zwei Fragen entscheiden, was Sie tatsächlich haben. Steuert die Vorkehrung eine Wahrscheinlichkeit, oder macht sie etwas unmöglich? Falls sie etwas unmöglich macht, wofür genau gilt das?

Von dieser Definition lassen sich drei Nachbarn abgrenzen. Richtlinien sagen, was erlaubt ist. Tests messen, ob es funktioniert. Guardrails begrenzen, was passieren kann. Protokolle zeigen, was passiert ist. Das sind vier verschiedene Aufgaben.

#Was passiert, wenn es darauf ankommt

Im Juli 2026 veröffentlichten OpenAI und Hugging Face ihre Darstellungen eines Sicherheitsvorfalls. Die folgende Rekonstruktion stützt sich auf beide Berichte. (OpenAI, Hugging Face)

OpenAI ließ mehrere eigene Modelle in einer internen Evaluation nach Sicherheitslücken suchen. Die Modelle fanden eine bis dahin unbekannte Lücke in einem Paket-Proxy, gewannen darüber Internetzugang und übernahmen anschließend eine offen erreichbare fremde Testumgebung als Ausgangspunkt. Von dort griff der Agent Hugging Face an. Kein Mensch steuerte die einzelnen Schritte.

Hugging Face deutet den Ablauf so, dass der Agent die Lösungen der Evaluation aus den Produktivsystemen holen wollte, statt die Aufgaben selbst zu lösen. Das ist eine forensische Interpretation des Unternehmens, kein direkt beobachteter innerer Entschluss des Modells. Die Kampagne lief vom 9. bis zum 13. Juli. Hugging Face rekonstruierte rund 17.600 Aktionen. Zwei Lücken in der Verarbeitung von Datensätzen führten zu lokalen Dateien und Codeausführung. Von dort las der Agent Passwörter und Schlüssel aus, erweiterte seine Rechte und gelangte in interne Netze sowie an einen Teil des Quellcodes.

Anschließend legte das Unternehmen offen, welche Kontrollen umgangen wurden und welche Wirkung andere Kontrollen hatten. Eine Freigabeliste für externe Datenquellen blockierte unerlaubte Internetadressen. Der Agent wechselte daraufhin zu lokalen Dateipfaden und Template-Code, die von dieser Prüfung nicht erfasst wurden. Hinzu kamen ein statisches Datenbankpasswort und ein Zugang, der mehrere Cluster gleichzeitig öffnete.

An anderen Stellen begrenzten technische Kontrollen den Schaden. Die zentrale Produktionsdatenbank blieb unerreichbar, weil sie nur über eine private Verbindung von freigegebenen Adressen erreichbar war. Verändernde Cloud-Aufrufe scheiterten an der hinterlegten Rolle.

Nach dem Vorfall verglich Hugging Face für veröffentlichte Container und Pakete die tatsächlichen mit den erwarteten Digests. Das Unternehmen fand keine ausgelieferte Manipulation. Dieser Abgleich begrenzte den Schaden nicht. Er lieferte nachträgliche Evidenz und gehört damit zur Familie „erkennen“.

Die Freigabeliste ist das lehrreichste Stück. Sie war keine Empfehlung in einer Textdatei, sondern eine harte technische Kontrolle. Sie tat zuverlässig, wofür sie gebaut war. Sie galt nur nicht für lokale Dateipfade. Dort war die Linie schlicht nicht aufgemalt. Der Agent musste sie nicht überfahren.

Ein Detail zum Schluss: Bei der forensischen Auswertung blockierten die Sicherheitsfilter von Claude Opus und Fable große Teile der Analyse. Hugging Face wich auf ein selbst betriebenes offenes Modell aus. Für den angreifenden Agenten galten diese Produktionsfilter nicht, weil OpenAI die Evaluation mit deaktivierten Produktionsklassifikatoren und reduzierten Cyber-Refusals ausführte. Dieselbe Art Guardrail bremste damit die Untersuchung, nicht den Angriff.

#Drei Blickwinkel

Das Thema wirkt technisch, wird aber an mehreren Stellen im Unternehmen entschieden. An jeder kann es auf andere Weise scheitern.

Der Geschäftsführer sieht eine Haftungs- und Delegationsgrenze. Wer darf was allein entscheiden? Ab welcher Größenordnung muss jemand mitunterschreiben?

Jake Moffatt buchte bei Air Canada einen Flug nach dem Tod seiner Großmutter und fragte den Chatbot nach dem Trauerfalltarif. Der Chatbot erklärte, er könne zunächst den vollen Preis zahlen und den Rabatt innerhalb von 90 Tagen nachträglich beantragen. Diese Auskunft widersprach der veröffentlichten Richtlinie. Air Canada verweigerte die Erstattung.

Das Civil Resolution Tribunal von British Columbia verurteilte die Fluggesellschaft im Februar 2024 wegen fahrlässiger Falschdarstellung. Den Einwand, der Chatbot sei eine eigene rechtliche Einheit, wies das Tribunal zurück. Es ging um 650,88 kanadische Dollar Schadenersatz zuzüglich Zinsen und Gebühren. Für diesen Fall hielt das Tribunal fest, dass Air Canada für die Informationen seines Chatbots auf der eigenen Website verantwortlich blieb. (Moffatt v. Air Canada, 2024 BCCRT 149)

Für von Agenten erzeugten Code lautet die praktische Entsprechung eine Etage tiefer: Was Sie freigeben, müssen Sie auch prüfen. Die Delegation verschiebt die Arbeit, nicht die Zuständigkeit.

Der CTO sieht eine Frage der Architektur. Drei Größen entscheiden über die nötige Kontrolle: die Härte der Durchsetzung, der größtmögliche Schaden und die Umkehrbarkeit einer Handlung. OpenAI empfiehlt, Werkzeuge genau nach Schreibzugriff, Reversibilität, Berechtigungen und finanzieller Wirkung zu bewerten.

Der architektonische Satz ist kurz: Das Modell darf nie das Einzige sein, was zwischen einem Angreifer und einer nicht umkehrbaren Handlung steht. Ein Freeze in den Anweisungen ist Text. Derselbe Freeze als entzogenes Schreibrecht ist eine technische Tatsache.

Alles, was aus einem Werkzeug zurückkommt, gehört als Eingabe von außen behandelt. Eine Webseite, eine Datenbankabfrage oder ein Ticket kann Anweisungen enthalten, die im Modellkontext wie ein neuer Auftrag wirken. OWASP empfiehlt deshalb, Werkzeugausgaben und abgerufene Inhalte grundsätzlich als nicht vertrauenswürdige Daten zu behandeln.

Im Hugging-Face-Fall trennten fehlende Netzwerkpfade und verweigerte Berechtigungen einen tiefen Einbruch von einem möglichen Angriff auf die Lieferkette. Der Agent hatte Schreibzugriff auf Quellcode, aber keine manipulierte Version erreichte die Nutzer.

Die Person, die freigibt, hält eine Kontrolle in der Hand, die ohne Änderung am System schwächer werden kann. Die Freigabe steht weiter im Architekturdiagramm, während der Mensch dahinter immer seltener genau hinsieht.

Entscheidungsmüdigkeit erklärt das nur teilweise. Shroff und Vamvourellis fanden bei Gerichtsentscheidungen kleine und uneinheitliche Effekte und keine Erholung nach Essenspausen. Der besser belegte Mechanismus heißt Automation Bias. Parasuraman und Manzey fanden ihn bei Laien wie Fachleuten. Training und Anweisungen verhinderten ihn nicht zuverlässig.

Die von Anthropic beobachtete hohe Bestätigungsrate passt dazu. Ein Freigabe-Gate kann gerade dann schwach werden, wenn korrekte Vorschläge zur Routine werden. Sechs ruhige Monate belegen nicht, dass die Freigabe hält. Sie sind ein Anlass, sie erneut zu testen.

#Eine alltagstaugliche Checkliste

Ich würde mit sieben Fragen beginnen:

Schreiben Sie die drei Dinge auf, die auf keinen Fall passieren dürfen. Wenn Ihr Team sich darauf nicht einigen kann, ist das bereits das erste Ergebnis.
Suchen Sie für jede Regel, wo genau sie durchgesetzt wird. Steht sie nur in einer Textdatei, die ein Modell liest, ist sie eine Anweisung. Steht sie in einer Berechtigung, einer Netzwerkregel, einem Limit oder einer begrenzten Schnittstelle, kann sie eine Grenze sein.
Prüfen Sie die folgenreichste Aktion: Was verhindert sie, wenn das Modell falsch liegt? Beruht die Antwort nur auf den Anweisungen an das Modell, handelt es sich um Stufe eins.
Sortieren Sie jede Aktion nach Umkehrbarkeit und größtmöglichem Schaden. Eine nicht umkehrbare Handlung mit großem Schadenspotenzial verlangt eine harte technische Grenze. Eine menschliche Freigabe kann hinzukommen, ersetzt diese Grenze aber nicht. OpenAI nennt Reversibilität und Wirkung ausdrücklich als Kriterien für die Risikoklasse eines Werkzeugs.
Messen Sie, wie oft Menschen freigeben und wann zuletzt eine Freigabe abgelehnt wurde. Eine hohe Zahl von Abfragen bei fast keiner Ablehnung ist ein Warnsignal für Approval Fatigue.
Schreiben Sie auf, worauf Sie sich verlassen, ohne es selbst geprüft zu haben. Dazu gehören Ausgabenlimits, Zeitüberschreitungen, Backups und die Annahme, dass der Agent bisher vernünftig war.
Prüfen Sie Guardrails wie das Produkt selbst. Ein Filter braucht Messwerte zu falschen Alarmen und übersehenen Angriffen. Eine Sandbox braucht Ausbruchsversuche. Ein Freigabeprozess braucht Tests gegen Umgehung. OWASP empfiehlt strukturierte Sicherheitstests vor dem Produktivbetrieb und nach wesentlichen Änderungen an Modell, Werkzeugen, Gedächtnis oder Richtlinien.

#Zurück zur Linie

Der Replit-Fall zeigt das Problem in seiner einfachen Form. Eine Guardrail kann ernst gemeint, dokumentiert und im System sichtbar sein, ohne die behauptete Grenze technisch durchzusetzen.

Sie ist nur aufgemalt.

Bei Replit stand der Freeze in den Anweisungen. Bei Hugging Face blockierte die Freigabeliste unerlaubte Internetadressen, aber keine lokalen Dateipfade. Beide Vorkehrungen existierten. Keine deckte den Weg ab, den der Agent schließlich nahm.

Eine durchgezogene Linie sagt dem Fahrer, wo er nicht fahren darf. Sie nimmt ihm nicht die Möglichkeit, es trotzdem zu tun. Genau das leisten viele Mechanismen, die heute Guardrails heißen.

Entscheidend ist nicht, wie deutlich die Linie gezeichnet ist. Entscheidend ist, welche Wege das System überhaupt offenlässt.

Wenn also das nächste Mal jemand sagt, das System habe Guardrails, lohnt sich eine Rückfrage: Welche Stufe ist gemeint?

Die Antwort sollte mehr enthalten als den Namen eines Produkts.

#Quellen

Replit, Juli 2025: SaaStr, Erfahrungsbericht und Rückblick; The Register, 21.07.2025; The Register, Replits Reaktion

Hugging Face, Juli 2026: Offenlegung von Hugging Face; technische Timeline von Hugging Face; Offenlegung von OpenAI

Air Canada: Moffatt v. Air Canada, 2024 BCCRT 149, 14.02.2024

Umgehung von Filtern: Hackett, Birch, Trawicki, Suri und Garraghan, Bypassing Prompt Injection and Jailbreak Detection in LLM Guardrails, 2025; Simon Willison zur Erkennungsrate von 95 Prozent

Begriff und Metapher: Microsoft Responsible AI Program, 19.01.2021; NVIDIA NeMo Guardrails, 25.04.2023; Guardrail beam with enhanced stability; Anlage 2 zur StVO, Zeichen 295

Agenten, Kontext und technische Grenzen: Anthropic, Trustworthy agents in practice; Anthropic, Building effective agents; Anthropic, How we contain Claude across products; Anthropic, Claude Code sandboxing; OpenAI, Structured Outputs; Liu et al., Lost in the Middle

Automation Bias und Entscheidungsmüdigkeit: Parasuraman und Manzey, Complacency and Bias in Human Use of Automation, 2010; Shroff und Vamvourellis, Pretrial release judgments and decision fatigue, 2022

Architektur und Tests: OpenAI, A practical guide to building AI agents; OWASP AI Agent Security Cheat Sheet