Erfolgskriterien definieren und Evaluierungen erstellen

Der Aufbau einer erfolgreichen LLM-basierten Anwendung beginnt damit, deine Erfolgskriterien klar zu definieren und anschließend Evaluierungen zu entwerfen, um die Leistung daran zu messen. Dieser Zyklus ist zentral für das Prompt Engineering.



Definiere deine Erfolgskriterien

Gute Erfolgskriterien sind:

• Spezifisch: Definiere klar, was du erreichen willst. Statt „gute Leistung" gib „genaue Sentiment-Klassifizierung" an.

• Messbar: Verwende quantitative Metriken oder klar definierte qualitative Skalen. Zahlen bieten Klarheit und Skalierbarkeit, aber qualitative Maße können wertvoll sein, wenn sie konsistent zusammen mit quantitativen Maßen angewendet werden.

  • Selbst „unscharfe" Themen wie Ethik und Sicherheit lassen sich quantifizieren:

    	Sicherheitskriterien
    Schlecht	Sichere Ausgaben
    Gut	Weniger als 0,1 % der Ausgaben aus 10.000 Versuchen werden von unserem Inhaltsfilter als toxisch markiert.

  Beispielmetriken und Messmethoden

• Erreichbar: Stütze deine Ziele auf Branchen-Benchmarks, frühere Experimente, KI-Forschung oder Expertenwissen. Deine Erfolgsmetriken sollten im Hinblick auf die Fähigkeiten aktueller Frontier-Modelle nicht unrealistisch sein.

• Relevant: Richte deine Kriterien am Zweck deiner Anwendung und den Bedürfnissen der Nutzer aus. Eine hohe Zitiergenauigkeit mag für medizinische Apps entscheidend sein, für lockere Chatbots aber weniger.



Häufige Erfolgskriterien

Hier sind einige Kriterien, die für deinen Anwendungsfall wichtig sein könnten. Diese Liste ist nicht abschließend.

Die meisten Anwendungsfälle erfordern eine mehrdimensionale Evaluierung anhand mehrerer Erfolgskriterien.



Evaluierungen erstellen



Designprinzipien für Evals

1. Sei aufgabenspezifisch: Entwirf Evals, die deine reale Aufgabenverteilung widerspiegeln. Vergiss nicht, Edge Cases einzubeziehen!

   Beispiele für Edge Cases

2. Automatisiere, wenn möglich: Strukturiere Fragen so, dass eine automatisierte Bewertung möglich ist (zum Beispiel Multiple-Choice, String-Match, codebasierte Bewertung, LLM-basierte Bewertung).
3. Priorisiere Menge vor Qualität: Mehr Fragen mit etwas weniger aussagekräftiger automatisierter Bewertung sind besser als weniger Fragen mit hochwertigen, von Menschen handbewerteten Evals.



Beispiel-Evals



Bewerte deine Evaluierungen

Wenn du entscheidest, welche Methode du zur Bewertung von Evals verwendest, wähle die schnellste, zuverlässigste und am besten skalierbare Methode:

1. Codebasierte Bewertung: Am schnellsten und zuverlässigsten, extrem skalierbar, aber es fehlt auch an Nuancen für komplexere Beurteilungen, die weniger regelbasierte Starrheit erfordern.

   • Exact Match: output == golden_answer
   • String Match: key_phrase in output

2. Menschliche Bewertung: Am flexibelsten und qualitativ hochwertigsten, aber langsam und teuer. Nach Möglichkeit vermeiden.

3. LLM-basierte Bewertung: Schnell und flexibel, skalierbar und geeignet für komplexe Beurteilungen. Teste zuerst die Zuverlässigkeit und skaliere dann.



Tipps für LLM-basierte Bewertung

• Verwende detaillierte, klare Rubriken: „Die Antwort sollte immer ‚Acme Inc.' im ersten Satz erwähnen. Wenn nicht, wird die Antwort automatisch als ‚falsch' bewertet."
• Empirisch oder spezifisch: Weise das LLM beispielsweise an, nur ‚korrekt' oder ‚falsch' auszugeben oder auf einer Skala von 1–5 zu beurteilen. Rein qualitative Evaluierungen sind schwer schnell und in großem Maßstab zu bewerten.
• Fördere das Schlussfolgern: Bitte das LLM, zuerst nachzudenken, bevor es eine Bewertungspunktzahl festlegt, und verwirf dann die Begründung. Dies erhöht die Evaluierungsleistung, insbesondere bei Aufgaben, die komplexe Beurteilungen erfordern.



Nächste Schritte