Know Your Score

Der Newsletter für technische Entscheider, Business-Strategen und KI-Interessierte.

Heute auf der Setlist: Wie du misst, ob dein RAG-System wirklich besser wird & nicht nur, ob es sich besser anfühlt.

🎚️ Soundcheck

Am Ende von Rag'n'Roll #002 & #003 habe ich denselben Rat hinterlassen: erst messen, dann entscheiden. Diese Ausgabe soll deshalb das Thema „RAG messen“ näher beleuchten. Denn die häufigste Antwort auf die Frage „Ist unser RAG gut?“ lautet leider „Fühlt sich zumindest gut an“.

Ein RAG-System hat zwei Stellen, an denen es hauptsächlich scheitern kann: beim Retrieval (es zieht den falschen Kontext) & bei der Generierung (es macht aus richtigem Kontext eine falsche Antwort). Wer nicht weiß, welche der beiden bricht, hat ein Optimierungs-Fass ohne Boden.

🎤 Main Set: Was man bei RAG eigentlich misst

Zuerst: ein Testset

Ohne Referenz keine Messung. Du brauchst ein Set repräsentativer Fragen, idealerweise mit erwarteten Antworten und/oder den Dokumenten, die die Antwort enthalten sollten. Solche Sets kann man von Hand kuratieren oder synthetisch erzeugen (ein Modell generiert Frage-Antwort-Paare aus deinen Dokumenten), sollte sie dann aber von Menschen (optimalerweise Domänen-Experten) prüfen lassen. 50 bis 100 gut gewählter Fragen bringen mehr als 1000 zufällige.

Das Retrieval messen

Hier geht es um eine Frage: Lagen die richtigen Belege überhaupt im Kontext? Übliche Kennzahlen:

• Context Recall: Wie viel des tatsächlich Nötigen wurde gefunden?
• Context Precision: Wie viel des Gefundenen war relevant & nicht bloß Beifang?
• Ergänzend: Rang-Metriken wie MRR oder nDCG, wenn die Reihenfolge der Treffer auch von Relevanz sind.

Die Generierung messen

Wenn der Kontext stimmt, zählt, was das Modell daraus macht:

• Faithfulness/Groundedness: Ist jede Aussage durch den Kontext gedeckt? Das ist die direkte Anti-Halluzinations-Metrik.
• Answer Relevance: Beantwortet die Antwort wirklich die gestellte Frage?
• Answer Correctness: Stimmt sie inhaltlich gegen die Referenzantwort?

Kontextrelevanz, Groundedness & Answer Relevance werden oft als „RAG-Triade“ zusammengefasst.

🥁 Track 2: Wie die Messung praktisch läuft

Viele der genannten Metriken lassen sich nicht mit einem simplen String-Vergleich messen, denn eine korrekte Antwort eines Sprachmodells kann jedes Mal anders formuliert sein. Hier kommt „LLM-as-a-Judge“ ins Spiel: Ein Sprachmodell bewertet etwa Groundedness oder Relevanz nach klaren Kriterien. Das skaliert zwar recht gut, hat aber einen Haken: Der Judge kann selbst danebenliegen oder verzerrt urteilen. Deshalb gilt: gegen eine Handvoll menschlich gelabelter Fälle kalibrieren & dem Judge-Score nie blind vertrauen.

Diese Mechaniken nehmen dir Werkzeuge wie Ragas, TruLens, DeepEval oder Arize Phoenix ab. Und zwei Ebenen gehören zusammen:

• Offline: ein festes Eval-Set, das bei jeder Änderung am RAG-System neu durchläuft, damit du Verbesserungen siehst & Regressionen früh auffängst.
• Online: Monitoring im Betrieb, weil echte Nutzerfragen logischerweise dann doch noch etwas anders aussehen als dein Testset.

Der eigentliche Gewinn liegt hier in der Diagnose: Trennst du Retrieval- & Generierungs-Metriken, weißt du sofort, ob du am Retriever oder am Prompt bzw. Modell schrauben musst.

🎯 Encore: Der eine Gedanke für Entscheider

Evaluation ist kein einmalig gebauter Prozess, sondern das Cockpit deines RAG-Systems. Ohne die passenden Instrumente & Mechaniken fliegst du blind, & jede Änderung am System wird zur Wette. Mit ihnen wird aus „fühlt sich jetzt besser an“ ein „ist nachweislich verbessert geworden“.

Die Frage für Entscheider ist deshalb nicht „Funktioniert unser RAG?“, sondern: „Können wir in Zahlen sagen, wie gut & würden wir eine Verschlechterung überhaupt bemerken?“

💿 B-Side

Anti-Pattern: Releasen, weil es „in den paar Beispielen, die wir ausprobiert haben, funktioniert hat“. Drei, vier Demo-Fragen sind kein Testset, sondern Cherry-Picking. Und wer nur die Endantwort bewertet, ohne Retrieval & Generierung zu trennen, weiß im Fehlerfall nie, wo er ansetzen muss.

Für den Einstieg lohnt der Blick auf die „RAG-Triade“ von TruLens oder das Metrik-Set von Ragas, beide zeigen Faithfulness sowie Context- & Answer-Relevance direkt am eigenen System.

---

Das war Rag'n'Roll #004. Nächste Ausgabe: RAG vs MCP, wann dein LLM nachschlagen soll & wann es handeln soll, & warum die besten Systeme beides können.

Weiterleiten erwünscht🤘