Ship happens
Öffentliche KI-Pannen, seziert
Nur öffentliche Berichte · Stand September 2026
Ship
happens!
Acht öffentliche KI-Pannen, zerlegt ohne Häme: was passiert ist, was die Quellen als Ursache nennen, der langweilige Fix und das Gate, das es abgefangen hätte.
Wäre abgefangen worden bei
Tippt auf ein Gate, um die Bibliothek zu filtern. Eine Panne kann an mehr als einem Gate vorbeirutschen.
01 · Die Bibliothek
Acht Pannen,
aktenkundig.
Die neuesten zuerst. Jede verlinkt, was die Quellen sagen, damit ihr unsere Lesart prüfen könnt.
Alle 8 Vorfälle
- Teilrückzahlung gemeldetDeloitte Australia · BeratungsberichtEin Regierungsbericht mit Quellen, die es nicht gibtErfundene Quellen und ein erfundenes Gerichtszitat in einem bezahlten Gutachten für ein Ministerium.04Guardrails05EvalsSezieren
- berichtetReplit · KI-Coding-AgentEin Coding-Agent löschte während eines Code-Freeze eine ProduktionsdatenbankEin Agent in der Entwicklung konnte in Produktion schreiben, und tat es.03Integrationen04Guardrails07ProduktionSezieren
- von Google erklärtGoogle · KI-SuchzusammenfassungenSuchzusammenfassungen, die Kleber auf Pizza vorschlugenSatire und Forenwitze, als Rat zusammengefasst, wenige Wochen nach einem breiten Start.02Daten05EvalsSezieren
- erstmals berichtetStadt New York · Chatbot einer BehördeEin Chatbot der Stadt, der Unternehmen zum Rechtsbruch rietSelbstsichere Antworten zu Trinkgeld, Wohnen und Bargeld, die dem Recht der Stadt widersprachen.05Evals04GuardrailsSezieren
- Entscheidung des TribunalsAir Canada · Kundenservice-ChatbotEine Airline haftet für das, was ihr Chatbot versprachEine Erstattungsregel, die der Chatbot erfand, und ein Tribunal, das sagte: Der Chatbot ist die Airline.04Guardrails05EvalsSezieren
- berichtetDPD UK · Kundenservice-ChatbotEin Paket-Chatbot, der nach einem Update einen Kunden beschimpfteWitze, ein Gedicht und Beleidigungen über das eigene Unternehmen, auf Wunsch.05Evals06MonitoringSezieren
- berichtetChevrolet of Watsonville · Vertriebs-ChatbotEin Händler-Chatbot, der einen SUV für einen Dollar verkaufen wollteBesucher gaben dem Bot neue Anweisungen, und er befolgte sie.01Demo04GuardrailsSezieren
- SanktionsbeschlussMata v. Avianca, New York · Rechtsrecherche mit einem ChatbotEin Schriftsatz, der Urteile zitierte, die kein Gericht je gefällt hatSechs Urteile aus einem Chatbot, eingereicht bei einem Bundesgericht, keines davon echt.03Integrationen04GuardrailsSezieren
Noch nichts in der Bibliothek scheitert an diesem Gate.
Prototyp Nur öffentliche Berichte. Unsere eigenen anonymisierten Post-Mortems folgen, mit Zustimmung der Kunden: erstes · Termin offen
02 · Das Muster
Selten das Modell.
Meist ein Gate.
Unsere Lesart, wo jede Panne durchgerutscht ist, anhand der sieben Gates aus dem Produktions-Check. Guardrails taucht am häufigsten auf.
| Vorfall | 01Demo | 02Daten | 03Integrationen | 04Guardrails | 05Evals | 06Monitoring | 07Produktion |
|---|---|---|---|---|---|---|---|
| Deloitte Australia | — | — | — | ja | ja | — | — |
| Replit | — | — | ja | ja | — | — | ja |
| — | ja | — | — | ja | — | — | |
| Stadt New York | — | — | — | ja | ja | — | — |
| Air Canada | — | — | — | ja | ja | — | — |
| DPD UK | — | — | — | — | ja | ja | — |
| Chevrolet of Watsonville | ja | — | — | ja | — | — | — |
| Mata v. Avianca, New York | — | — | ja | ja | — | — | — |
| Summe | 1 | 1 | 2 | 6 | 5 | 1 | 1 |
Dieselben sieben Gates, als Zwei-Minuten-Check für euer eigenes System.
Produktions-Check starten03 · Hausregeln
Wie wir
das schreiben.
Über die Ausfälle anderer zu lachen ist leicht, bis der eigene Pager piept. Darum:
- 01Quellen, sonst steht es nicht hier
Nur, was seriöse öffentliche Quellen berichten, verlinkt und datiert. Wenn eine Quelle nicht sagt, warum etwas scheiterte, sagen wir es auch nicht.
- 02Keine Häme
Menschen tauchen nur so auf, wie die Quellen sie nennen, und nur, wo es zählt. Thema ist das fehlende Gate, nicht die Person, die dagegen lief.
- 03Unsere Lesart, gekennzeichnet
Der langweilige Fix und das Gate sind unsere Meinung, so gekennzeichnet. Einen Fehler gefunden? Sagt es uns, und wir korrigieren ihn, mit Datum.
Euer System
Findet euer
Gate zuerst.
Sieben Gates zwischen Demo und Produktion. Zwei Minuten, im Browser, bevor das Internet es für euch findet.