Beispieldaten Jedes System und jede Zahl auf diesem Board ist fiktiv, außer Voidgap fragen, dessen Eval-Karte live auf /ask läuft. Echte Kundendaten nur mit schriftlicher Zustimmung.
Offene Evals
Quote · Gate · Kosten · Vorfälle
Beispiel-Board · Stand September 2026
Ohne Evals ist es nie passiert.
Ein öffentliches Board für KI in Produktion: wie oft sie ihr Testset besteht, welche Latte sie reißen muss, was eine Aufgabe kostet und wann sie zuletzt danebenlag.
Systeme auf dem Board5
Über dem Gate3
Unter dem Gate1
Echt, kein Beispiel1
Beispiel Vier fiktive Systeme und ein echtes, Voidgap fragen.
01 · Das Board
Fünf Systeme, nichts versteckt.
Fahrt über ein Diagramm oder springt mit Tab hinein, um jeden Lauf zu lesen. Die gestrichelte Linie ist das Gate: darunter wird nichts ausgeliefert.
Läufe
Status
Das echte · auf dieser Website
Voidgap fragen
umgesetzt
Beantwortet Fragen aus den Seiten dieser Website und zitiert sie. Seine Eval-Karte ist öffentlich: acht Fragen, die Seite, die jede Antwort zitieren muss, und eine, die es ablehnen muss. Sie läuft auf eurem Konto, in eurem Browser, wenn ihr den Knopf drückt.
Letzter Vorfall
Vorfall-Log · offen
Letzter Lauf
–/8eurer, wenn ihr ihn startet
Gate
offen
Kosten pro Aufgabe
offen
Noch keine Lauf-Historie. Läufe werden nirgends gespeichert, also gibt es keine Linie zu zeichnen. Eine öffentliche Historie braucht Speicher und eine Entscheidung: Lauf-Historie · offen
Bestanden heißt Fakten korrekt, richtiger Ton, kein Versprechen außerhalb der Richtlinie
Letzter Vorfall
Entwürfe nannten nach einer Richtlinienänderung eine veraltete Rückgabefrist. Wissensbasis aktualisiert; drei Fälle ins Testset aufgenommen.
Datentabelle
Lauf
Quote
zum Gate
Notiz
21. Sep 2026
93,1 %
+3,1
14. Sep 2026
92,9 %
+2,9
7. Sep 2026
93,2 %
+3,2
31. Aug 2026
93,6 %
+3,6
24. Aug 2026
93,0 %
+3,0
17. Aug 2026
93,3 %
+3,3
10. Aug 2026
92,8 %
+2,8
3. Aug 2026
86,5 %
−3,5
Neue Modellversion lag unter dem Gate. Nicht ausgerollt.
27. Jul 2026
94,0 %
+4,0
20. Jul 2026
93,5 %
+3,5
13. Jul 2026
93,9 %
+3,9
6. Jul 2026
93,2 %
+3,2
Dokumente ins ERP
Lieferschein-Extraktion
Beispiel
Letzter Lauf
97,6 %über dem Gate
Gate
97 %520 Testfälle
Kosten pro Aufgabe
0,03 €pro Dokument
Bestanden heißt Jedes Pflichtfeld korrekt
Letzter Vorfall
Ein Scanner-Update drehte Seiten. Die Konfidenz fiel, 212 Dokumente gingen in die manuelle Prüfung, keines erreichte ungeprüft das ERP.
Datentabelle
Lauf
Quote
zum Gate
Notiz
21. Sep 2026
97,6 %
+0,6
14. Sep 2026
97,5 %
+0,5
7. Sep 2026
97,1 %
+0,1
31. Aug 2026
97,4 %
+0,4
24. Aug 2026
97,2 %
+0,2
Erster Lauf über dem Gate. Live in der Woche darauf.
17. Aug 2026
96,9 %
−0,1
10. Aug 2026
96,7 %
−0,3
3. Aug 2026
96,1 %
−0,9
27. Jul 2026
96,3 %
−0,7
20. Jul 2026
96,0 %
−1,0
13. Jul 2026
95,4 %
−1,6
6. Jul 2026
95,6 %
−1,4
Markiert riskante Klauseln für die Rechtsabteilung
Vertragsklausel-Finder
Beispiel
Letzter Lauf
95,2 %unter dem Gate
Gate
98 %150 Testfälle
Kosten pro Aufgabe
0,31 €pro Vertrag
Bestanden heißt Jede Klausel der Checkliste gefunden, nichts erfunden
Letzter Vorfall
Keiner in Produktion. Es ist nicht in Produktion: Unter dem Gate läuft es im Schattenbetrieb, neben der Rechtsabteilung, nicht statt ihr.
Datentabelle
Lauf
Quote
zum Gate
Notiz
21. Sep 2026
95,2 %
−2,8
14. Sep 2026
95,0 %
−3,0
7. Sep 2026
94,8 %
−3,2
31. Aug 2026
94,6 %
−3,4
24. Aug 2026
94,1 %
−3,9
17. Aug 2026
93,9 %
−4,1
10. Aug 2026
93,5 %
−4,5
3. Aug 2026
93,0 %
−5,0
27. Jul 2026
92,4 %
−5,6
20. Jul 2026
92,6 %
−5,4
13. Jul 2026
92,1 %
−5,9
6. Jul 2026
91,8 %
−6,2
Voice-Agent
Terminbuchung per Telefon
Beispiel
Letzter Lauf
94,4 %über dem Gate
Gate
92 %260 Testfälle
Kosten pro Aufgabe
0,18 €pro Anruf
Bestanden heißt Richtiger Termin, richtige Person, Anrufer weiß, dass es eine KI ist
Letzter Vorfall
Anrufer mit Doppelnamen wurden unter halbem Namen gebucht. 23 Buchungen von Hand korrigiert; 40 Namensfälle ins Testset aufgenommen.
Datentabelle
Lauf
Quote
zum Gate
Notiz
21. Sep 2026
94,4 %
+2,4
14. Sep 2026
94,8 %
+2,8
7. Sep 2026
94,6 %
+2,6
31. Aug 2026
94,3 %
+2,3
24. Aug 2026
94,7 %
+2,7
17. Aug 2026
94,9 %
+2,9
10. Aug 2026
94,2 %
+2,2
3. Aug 2026
94,6 %
+2,6
27. Jul 2026
94,8 %
+2,8
20. Jul 2026
94,3 %
+2,3
13. Jul 2026
94,5 %
+2,5
6. Jul 2026
94,0 %
+2,0
Wöchentliche Läufe auf einem festen Testset. Ein Lauf unter dem Gate blockiert das Deployment; die Linie zeigt, was getestet wurde, nicht, was live ging. Hohle Punkte markieren Läufe mit Notiz.
02 · Die vier Zahlen
Vier Zahlen pro System.
Wenn ein Anbieter euch diese vier nicht nennen kann, ist das System eine Demo mit Login.
1Quote
Anteil des Testsets, der bei einem Lauf besteht. Das Testset kommt aus echten Fällen, das erwartete Ergebnis steht vor dem Bau fest.
2Das Gate
Die Quote, die der Owner vor dem Start vereinbart hat. Darunter wird eine Änderung nicht ausgerollt. Sie gilt pro System, denn 90 % reichen für einen Entwurf, nicht für einen Zollwert.
3Kosten pro Aufgabe
Modell- und Infrastrukturkosten pro erledigter Aufgabe, nicht pro Token. Die Zahl, die die Finanzabteilung neben das gesparte Gehalt oder die frei gewordenen Stunden legen kann.
4Letzter Vorfall
Das letzte Mal, dass es für einen echten Nutzer schiefging, mit Datum und dem, was sich danach änderte. Ein Board ohne Vorfälle ist entweder sehr neu oder nicht ehrlich.