LLM-Systeme ändern ihr Verhalten, wenn ihr einen Prompt, eine Modellversion oder eine Retrieval-Einstellung ändert. Ohne Evals weiß niemand, ob die Änderung geholfen hat.
Das Problem mit dem Bauchgefühl
Die meisten Teams beurteilen KI-Qualität, indem sie ein paar Prompts ausprobieren und die Antworten lesen. Das fängt das Offensichtliche und verpasst den Rest. Dann geht ein Modell-Upgrade live, die Antworten werden subtil schlechter, und das erste Signal ist ein Support-Ticket zwei Wochen später. Der Feedback-Loop sind eure Nutzer.
Was eine Eval-Suite ist
Ein Set echter Inputs mit erwarteten Ergebnissen, Grader, die die Ausgabe automatisch bewerten, und Schwellenwerte, auf die ihr euch einigt. Exakter Abgleich, wo möglich, Regeln, wo sie passen, modellbewertete Rubriken, wo es sein muss, mit menschlichen Stichproben bei den Gradern. Sie läuft bei jeder Änderung, und ein Rückgang unter den Schwellenwert blockiert den Merge.
Der Feedback-Loop sollten nicht eure Nutzer sein.
Wie wir sie bauen
Wir kartieren die Failure Modes, die euren Nutzern wirklich wehtun, gerankt nach Auswirkung, auf Basis eines Workshops und von Beispiel-Traffic. Wir bauen die Datasets und Grader mit eurem Team, binden sie in die CI ein und prüfen die Scores monatlich: was schlechter geworden ist, was besser wurde, welche neuen Failure Modes dazukommen. Die Suite wächst mit dem System.