Studienprotokoll: Studienmodus, Verblindung, Bewertung und Statistik

Wie Fachleute Antworten jeder Herkunft – Reporter, bloßes Prompten, andere KI, Menschen – verblindet vergleichen; die Prüfung jeder einzelnen Antwort im Einsatz beschreibt das Ablaufdossier

Fassung 4.0 · 6. Oktober 2026

1Der Maßstab – siehe Ablaufdossier

Gemessen wird nicht, ob die KI die eine richtige Lösung findet, sondern ob sie etwas Falsches behauptet – geprüft gegen die amtlichen Quellen selbst. Wie das Programm jede Antwort im praktischen Einsatz prüft – Zitate gegen die Fundstellen, amtliche Nachprüfung in RIS, Findok, NeuRIS und Cellar, Prüfbericht mit Status je Zitat –, und wie die Anfrage davor aufbereitet und gestellt wird, beschreibt Ablaufdossier: Aufbereitung, Abfrage und Validierung. Dieses Dossier widmet sich allein dem Studienprotokoll: dem verblindeten Vergleich von Antworten verschiedener Herkunft, der Bewertung, der Statistik und der Dokumentation. Expertendokumente als Goldstandard sind dabei eine wissenschaftliche Zusatzoption (Kapitel 4).

2Eine Plattform, keine Studie

Der IUCOM Reporter versteht sich als klassisches Analysewerkzeug. Er liefert nicht „die eine“ Studie, sondern das Werkzeug, mit dem Lehrstühle, Kanzleien, Rechtsabteilungen und Verwaltungen eigene, methodisch saubere Vergleiche aufsetzen. Das eigene Vorschaltsystem des Reporters ist darin eine von mehreren Bedingungen, die man testen kann – nicht das Ergebnis, das bewiesen werden soll.

Ergebnisbezogen statt systembezogen. Geprüft wird, was eine Technologie im Einsatz tatsächlich liefert – die fertige Antwort –, nicht wie sie intern gebaut ist. Darum lässt sich jede Technologie prüfen, auch eine, deren Innenleben niemand offenlegt: Man liest ihre Antworten ein und misst sie verblindet – an den Quellen und, als Zusatzoption, an einem Goldstandard.

Ein bewährtes Vorbild aus der Medizin. Genau so werden dort Studien zur diagnostischen Genauigkeit angelegt: Ein Test wird geprüft, wie er in der Praxis eingesetzt wird, und mit einem Referenzstandard verglichen – wie er intern funktioniert, spielt keine Rolle. Für die Berichterstattung gibt es mit STARD 2015 eine international anerkannte Leitlinie. Mit der Zusatzoption Goldstandard überträgt der Studienmodus dieses Prinzip auf das Recht: Die geprüfte Technologie ist der Indextest, das Expertendokument der Referenzstandard.

Die Methode ist anerkannt. OpenAI hat mit GDPval (2025) genau dieses Prinzip angewendet: Erfahrene Fachleute vergleichen verblindet KI-Ergebnisse mit von Menschen erstellten Arbeiten, ohne zu wissen, was von wem stammt – 1.320 Aufgaben aus 44 Berufen, darunter juristische Schriftsätze. Das war eine einmalige Studie, kein Werkzeug für andere. Für den Studienmodus ist es ein Argument, keine Konkurrenz: Der Bewertungsansatz entspricht dem Stand der Forschung – der Studienmodus macht ihn für jede Fachperson wiederholbar.

Das Alleinstellungsmerkmal liegt im Zusammenspiel. Einzelne Bausteine gibt es anderswo: allgemeine Annotationswerkzeuge, mit denen Menschen importierte Antworten bewerten; Evaluationsplattformen für Entwickler, die KI-Ausgaben gegen Referenzantworten vergleichen; Anbieter juristischer Benchmarks. Selten zusammen findet sich: ein Werkzeug für Juristinnen und Juristen statt für Programmierer, mit eingebauter Verblindung, Randomisierung und Übereinstimmungsmaßen, das menschliche und maschinelle Antworten gleichberechtigt vergleichbar macht, den Datenschutz der Teilnehmenden mitdenkt und ein eigenes regelbasiertes Vorschaltsystem als testbare Bedingung mitbringt – für den deutschsprachigen Rechtsraum.

3Das Vorschaltsystem: eine Bedingung unter mehreren

Das Vorschaltsystem ist im Kern eine regelbasierte Retrieval-Stufe: Es sucht KI-gestützt gesicherte Quellen zur Anfrage – amtliche Datenbanken, Gesetze im geltenden Wortlaut, Materialien, Literatur, eigene Unterlagen –, verbindet Anfrage und Fundstellen mit dem Regelwerk zu einer Synthese und schickt diese als angereicherte Anfrage an das Sprachmodell. Die Regel, nichts zu erfinden, ist Teil des Regelwerks. Sie ist eine Anweisung, keine Garantie – gerade deshalb misst der Test, wie oft das Ziel erreicht wird.

4Der Goldstandard – wissenschaftliche Zusatzoption

Nur für die Testphase. Im praktischen Einsatz gelten die Prüfregeln (Kapitel 1); der Goldstandard ist eine Zusatzoption des Studienmodus für Fragen der Vollständigkeit und fachlichen Qualität. Ohne ihn läuft der Studienmodus ebenso – dann wird gegen die Quellen geprüft. Kategorie und Übereinstimmungsgrad gibt es nur mit Goldstandard, weil ihnen sonst der Maßstab fehlt; das Programm fragt sie ohne Goldstandard gar nicht ab. Die Übersicht:

Der Goldstandard sind ein oder mehrere Expertendokumente – Gutachten, Stellungnahmen, Musterlösungen fachkundiger Personen. Sie liegen je Rechtsgebiet im Ordner goldstandard neben den eigenen Unterlagen des Rechtsgebiets (Programmordner Kategorien\<Rechtsgebiet>\goldstandard; der Knopf Goldstandard-Ordner öffnet ihn). Lesbar sind .txt, .md, .docx, .doc, .rtf und .odt. Optional lässt sich der Goldstandard den Reporter-Läufen beilegen – nur als Arbeitshilfe: Dann sieht die KI die Musterlösung, und der Vergleich misst, wie gut sie sie übernimmt, nicht ihre eigene Leistung. Ergebnisse mit Beilage gelten nicht als Messung; der Bericht kennzeichnet sie so.

Auf wie vielen Dokumenten der Maßstab beruht. Auch Fachleute sind untereinander oft uneinig; ein einzelnes Expertendokument ist eine einzelne Fachmeinung. Der Bericht weist deshalb aus, auf wie vielen Expertendokumenten der Goldstandard beruht, und warnt, wenn es nur eines ist. Vorzuziehen sind mehrere unabhängige Dokumente als Konsens.

5Die Bedingungen

• Reporter mit Vorschaltsystem – 1 bis 10 Läufe, jede Antwort kommt ins Archiv.
• Kontrolle: Modell ohne Vorschaltsystem – dasselbe Modell, direkt gefragt, aber mit der Anweisung, nichts zu erfinden. Der Vergleich mit dem Reporter isoliert den Beitrag von Quellensuche und Regelwerk.
• Eingelesene fertige Antworten – von Experten, Studierenden, Berufsanwärtern oder anderen KI-Anbietern. Angenommen werden Word (.docx, .doc), PDF, RTF, ODT, Text, CSV- und Excel-Tabellen (eine Antwort je Zeile) und JSON-Exporte aus Programmierschnittstellen (OpenAI, Anthropic, Mistral, Google und eigene Felder antwort oder text). Eingescannte Handschrift enthält keinen Text – das Programm meldet es, solche Antworten müssen erfasst werden.

Herkunftsangaben. Beim Einlesen werden je Antwort festgehalten – für KI: Anbieter, Modell, Version, Datum und der verwendete Prompt; für Menschen: Qualifikationsstufe (Student/in, Berufsanwärter/in, Berufsträger/in mit Erfahrung, sonstige Fachperson), ob Hilfsmittel erlaubt waren, und die Einwilligung. Tabellen und JSON-Exporte können diese Angaben je Zeile mitbringen (Spalten Antwort, Herkunft, Anbieter, Modell, Version, Datum, Prompt, Hilfsmittel, Kennung, Einwilligung). Die Angaben bleiben während der Bewertung verborgen.

Fremde KI-Ergebnisse mit ihrer eigenen Frage. Statt eines Archiv-Falls lässt sich auch eine eigene Fragestellung eintragen – etwa die Frage, mit der Ergebnisse anderer KI-Anbieter entstanden sind. Bringt eine eingelesene Antwort ihren Prompt mit (Tabelle, JSON-Export, Herkunftsfenster), übernimmt das Programm ihn als Fragestellung. Diese Frage geht dann auch an den Reporter und an die Kontrolle, sodass alle Antworten dieselbe Frage beantworten.

Saubere Zuordnung. Jede Antwort gehört zu genau einem Fall – dem gewählten Archiv-Eintrag oder der eigenen Fragestellung. Festgehalten wird der genaue Wortlaut der Fragestellung, mit dem die Antwort entstanden ist. Weicht er vom Sachverhalt des Falls ab, warnt das Programm beim Einlesen und der Bericht weist es je Antwort aus – denn wer die Frage anders gestellt bekam, ist nur eingeschränkt vergleichbar.

6Verblindung

Sobald mehr als eine Bedingung im Spiel ist, wird verblindet – für die KI-Bewertung wie für menschliche Bewertende:

1. Vereinheitlichen. Importierte Antworten verraten ihre Herkunft oft durch Äußerlichkeiten: KI-Antworten durch Markdown und typische Floskeln („Gerne!“, „Ich hoffe, das hilft“, Haftungshinweise), menschliche durch Briefkopf, Ort und Datum, Grußformel, Unterschrift. Das Programm entfernt diese Merkmale regelbasiert und bringt alle Antworten in dasselbe schlichte Textformat – ohne den Inhalt anzutasten.
2. Auf Wunsch angleichen. Tippfehler und Stil lassen sich regelbasiert nicht neutralisieren. Optional gleicht die KI Rechtschreibung und Stil an – mit der strikten Vorgabe, Inhalt, Gliederung, Fundstellen, Zahlen und Beträge wörtlich zu lassen, auch wenn sie falsch sind. Kürzt sie eine Antwort erkennbar, wird die Angleichung verworfen. Danach prüft das Programm fest im Code, ob vor und nach der Angleichung dieselben Geschäftszahlen und Fundstellen, dieselben Normen, dieselben Zahlen und Beträge (gleich welcher Schreibweise, etwa 12.500 oder 12500) und dieselben Platzhalter stehen. Fehlt etwas oder kommt etwas hinzu, wird die Angleichung verworfen und die Antwort bleibt im Wortlaut; das Protokoll nennt, was sich verändert hätte.
3. Pseudonymisieren. Personenbezogene Angaben werden durch Platzhalter ersetzt – mit Antworten von Menschen immer, und dann für alle Antworten gleich, damit nicht die Platzhalter selbst die Herkunft verraten.
4. Zufallsreihenfolge und Codes. Die Antworten werden zufällig gereiht und erhalten Blindcodes X, Y, Z … (nie A und B – sie stehen für die zwei Bewertungssysteme; nach der Entblindung erscheint jeder Code im Bericht in der Farbe seiner Herkunft: grün Reporter mit Vorschaltsystem, orange Modell ohne Vorschaltsystem, violett andere KI, blau Fachperson, türkis Studierende und Berufsanwärter – mit Hinweis beim Daraufzeigen, in HTML und Word); die Zufallssaat wird protokolliert, die Reihenfolge ist damit nachvollziehbar.
5. Verblindet bewerten, danach entblinden. Die KI sieht nur den Sachverhalt, die codierten Antworten und – falls beigelegt – den Goldstandard. Erst nach der Bewertung werden die Herkunftsangaben zugeschaltet: Der Bericht ordnet jeden Code seiner Bedingung zu und fasst die Ergebnisse je Bedingung zusammen.

7Die Bewertung: zweistufig, mit Halluzinationsraten

Zuerst wird gegen die Quellen gemessen – das gilt immer:

• Zwei Halluzinationsraten je Antwort, ausdrücklich ausgewiesen, auch wenn sie sehr niedrig sind: die Fundstellenrate (nachweislich erfundene Fundstellen und Fehlzitate, bezogen auf alle zitierten Fundstellen) und die Tatsachenrate (erfundene Tatsachen oder Zahlen, bezogen auf alle geprüften Tatsachen- und Zahlenangaben). Getrennt, weil Fundstellen und Tatsachen verschiedene Nenner haben – zusammengezählt könnte die Rate verzerren oder über 100 % steigen. „Nicht prüfbar“ ist nicht „erfunden“. Beide Raten ermittelt die bewertende KI im Studienmodus aus dem Vergleich mit Sachverhalt und Fundstellen – nicht der Programmcode. Fest im Code geprüft werden im Einsatz die zitierten Entscheidungen (Kapitel 1); erfundene Tatsachen erkennt der Code nicht.
• Zwei Bewertungssysteme nebeneinander: Gutachtenkatalog in Analogie zum Sorgfaltsmaßstab der §§ 1299, 1300 ABGB (Sperren K1 bis K9 vor der Qualität Q1 bis Q8) – diese Normen regeln die Haftung von Sachverständigen, keine Qualitätskriterien; übertragen wird ihr Maßstab, so wie STARD aus der Medizin übertragen wird und Hochschul-Bewertungsraster (Assurance of Learning).
• Getrennte Auswertung der Suchstufe für die Reporter-Läufe: Stufe 1 – sind die gelieferten Fundstellen einschlägig, und mit Goldstandard: findet das Vorschaltsystem dessen tragende Fundstellen (Trefferquote)? Stufe 2 – gibt das Modell die gelieferten Quellen treu wieder? Dazu je Abweichung die Ursache: Suche oder Verarbeitung. Diese Prüfung läuft als eigene Anfrage, damit die Fundstellenlisten die Verblindung nicht verraten.
• Begründungen und Lösungsvorschläge: Zu jeder Abweichung nennt die Analyse die Begründung – warum die Aussage falsch, unvollständig oder nicht belegt ist, mit der tragenden Stelle aus Norm oder Rechtsprechung, mit Goldstandard aus diesem – und einen konkreten Lösungsvorschlag: die richtige Aussage, den fehlenden Punkt oder die richtige Fundstelle. Zum Schluss steht, was an Fragestellung, Quellen oder Vorgehen zu ändern wäre.
• Verblindungsprüfung der KI: Die bewertende KI rät am Ende je Antwort „Mensch oder KI“; das Programm vergleicht die Trefferquote mit der Zufallserwartung.

Nur mit Goldstandard (zuschaltbar, Kapitel 4) kommen hinzu:

• Abgleich mit dem Goldstandard je Antwort: Ergebnis übereinstimmend, fehlende tragende Punkte, Widersprüche, Übereinstimmungsgrad in Prozent.
• Kategorien wie in der Stanford-Studie (Magesh u. a. 2025): korrekt, unvollständig, halluziniert – damit die Zahlen mit der wichtigsten Referenz vergleichbar sind.

Die KI als Bewerterin – Vorsortierung, nicht Urteil. Sprachmodelle sind als Bewerter bekannt verzerrt: Sie bevorzugen Antworten der eigenen Modellfamilie [19; 23]. Bewertet etwa Claude Antworten, unter denen Claude-Antworten aus dem Reporter sind, liegt dieser Einwand nahe. Das Programm hält deshalb drei Regeln ein:

• Fremde Modellfamilie. Gehört das eingestellte Modell zur selben Familie wie geprüfte KI-Antworten und liegt der Schlüssel eines anderen Anbieters vor, bewertet automatisch dessen Modell. Sonst warnt der Bericht ausdrücklich.
• Eigene Kennzahl. „Bewertungen einlesen“ vergleicht die verblindeten KI-Urteile mit denen der Menschen: Trefferquote und Cohens Kappa je Bewertende(r), Krippendorffs Alpha ohne und mit der KI als weiterer Bewerterin. So wird aus „die KI bewertet“ ein belegtes „die KI-Bewertung stimmt zu so viel mit den Fachleuten überein“.
• Rangfolge. Die KI-Bewertung ist eine Vorsortierung; das Urteil fällen die menschlichen Bewertenden der Blindmappe – den Ausschlag geben Menschen.

8Menschliche Bewertende: Blindmappe und Übereinstimmung

Eine KI-Bewertung schafft Ordnung – den Ausschlag geben Menschen. Dafür legt das Programm im Studienordner (Dokumente\IUCOM Studien) eine Blindmappe an: die Fragestellung, den Goldstandard (falls beigelegt), die vereinheitlichten Antworten unter ihren Codes, einen Bewertungsbogen (CSV, öffnet in Excel) und eine Anleitung. Je Code tragen Bewertende ein: mit Goldstandard Kategorie und Übereinstimmung mit ihm in Prozent, immer die Note von 1 bis 5, die Rasterstufe (1 bis 4 oder gesperrt, wie in System B) und – erst nach der Bewertung – die vermutete Herkunft (Mensch oder KI). Der Schlüssel Code → Herkunft liegt getrennt im Ordner Schlüssel – nur Studienleitung.

Der Knopf Bewertungen einlesen wertet die ausgefüllten Bögen aus (CSV oder Excel, beliebig viele Bewertende):

• Übereinstimmung der Bewertenden: Krippendorffs Alpha für die Kategorien, den Übereinstimmungsgrad, die Note und die Rasterstufe (ordinal) – es kommt mit beliebig vielen Bewertenden und fehlenden Werten zurecht; bei zwei Bewertenden zusätzlich Cohens Kappa. Lesart nach Krippendorff: ab 0,80 verlässlich, ab 0,667 vorläufig belastbar.
• Verblindungsprüfung: Wie oft lagen die Bewertenden mit ihrer Herkunftsvermutung richtig – verglichen mit dem, was bloßes Raten bei diesen Anteilen erwarten lässt? Liegen sie nicht über dem Zufall, ist die Verblindung belegt.
• Entblindung: die Ergebnisse je Bedingung – Anteile korrekt, unvollständig, halluziniert, mittlere Übereinstimmung und Note – und je Antwort die Urteile aller Bewertenden.

9Bericht nach STARD – im Recht in Analogie

Studien zur diagnostischen Genauigkeit prüfen einen Test so, wie er eingesetzt wird, gegen einen Referenzstandard – berichtet nach der Leitlinie STARD 2015. Im Recht arbeitet der Studienmodus in Analogie zu STARD: Index-Test ist die Antwort jeder Herkunft, Referenzstandard der Goldstandard. Der Reporter erstellt diesen Bericht selbst:

• Zielfrage: Im Schritt „STARD“ wird eine Ja/Nein-Frage eingetragen, etwa „Ist die Kündigung wirksam?“. Die Referenz liest die KI aus dem Goldstandard, oder die Studienleitung legt sie fest.
• Index-Ergebnis: Jede Antwort wird als „ja“, „nein“ oder „unbestimmt“ gelesen – von den Bewertenden der Blindmappe (Mehrheit; der Bewertungsbogen hat dann eine eigene Spalte), sonst aus der KI-Bewertung.
• Bericht: „STARD-Bericht erstellen“ fasst alle Tests mit Zielfrage in einem Ordner zusammen – jeder Test ist ein Fall. Je Bedingung entstehen Vierfeldertafel, Sensitivität, Spezifität, positiver und negativer Vorhersagewert und Genauigkeit mit 95-%-Vertrauensbereich nach Wilson, dazu das Flussdiagramm mit allen Ausschlüssen und die 30 Punkte der STARD-Checkliste: Was das Programm belegen kann, ist ausgefüllt; Design, Stichprobe, Fallzahl, Registrierung und Finanzierung bleiben als Aufgabe der Studienleitung gekennzeichnet. Unbestimmte Ergebnisse stehen gesondert und gehen nicht in die Tafel ein.

10Statistische Methoden

Dieses Kapitel beschreibt genau die Verfahren, die das Programm rechnet, und nur diese. Die Werte je Bedingung sind beschreibend, teils mit 95-%-Konfidenzintervall. Einen Signifikanztest rechnet das Programm nur für die Verblindungsprüfung (10.5); Unterschiede zwischen Bedingungen werden nicht auf Signifikanz geprüft (10.8). Die Ziffern in eckigen Klammern verweisen auf die Referenzen in 10.9.

10.1 Zufallsreihenfolge und Blindcodes

Ab zwei Bedingungen werden die Antworten mit dem Fisher-Yates-Verfahren in der Fassung von Durstenfeld zufällig gereiht [8; 13]. Als Zufallsgenerator dient System.Random von .NET Framework, ein subtraktiver Generator nach Knuth [13]. Die Saat stammt aus der Systemuhr und steht im Studienprotokoll, damit sich die Reihenfolge nachrechnen lässt. In dieser Reihenfolge erhalten die Antworten die Codes X, Y, Z, W, Q, K …; A und B sind ausgeschlossen, weil sie für die zwei Bewertungssysteme stehen. Die Zuordnung Code → Herkunft kennt nur der Studienschlüssel.

10.2 Zielgrößen je Antwort

Die bewertende KI gibt je Antwort maschinenlesbare Werte zurück: HERKUNFT und die Rasterstufe, mit Goldstandard zusätzlich KATEGORIE und UEBEREINSTIMMUNG, bei einer Zielfrage ZIEL. Daraus rechnet das Programm:

• Kategorie (nominal, nur mit Goldstandard), nach Magesh u. a. [16]: korrekt (inhaltlich richtig und belegt), unvollständig (Verweigerung oder wesentliche Lücke), halluziniert (inhaltlich falsch oder falsch belegt).
• Übereinstimmungsgrad (Prozent, nur mit Goldstandard): der Anteil der tragenden Punkte des Goldstandards, die die Antwort richtig enthält.
• Zwei Halluzinationsraten (Prozent), getrennt, weil Zähler und Nenner zusammenpassen müssen:

HR_Fundstellen = (E + F) / N_F × 100    HR_Tatsachen = T / N_T × 100

Dabei ist E die Zahl der nachweislich erfundenen Fundstellen (Sperre K2), F die der Fehlzitate (K3) und N_F die Zahl aller zitierten Fundstellen; T ist die Zahl der erfundenen Tatsachen oder Zahlen und N_T die Zahl aller geprüften Tatsachen- und Zahlenangaben. Beide Raten liegen damit zwischen 0 und 100 %. „Nicht prüfbar“ zählt nicht als erfunden.

• System A, Gutachtenkatalog (in Analogie zum Sorgfaltsmaßstab der §§ 1299, 1300 ABGB – Haftungsnormen, keine Qualitätskriterien): Eine nicht bestandene Sperre K1, K4 oder K9 ergibt Stufe 5. Eine nicht bestandene Sperre K2, K3 oder K5 bis K8 begrenzt auf höchstens Stufe 4. Sonst gilt das gewichtete Mittel der Qualitätskriterien Q1 bis Q8 (Gewichte 15, 15, 15, 20, 15, 10, 5, 5 %), gerundet. Ein Durchschnitt gleicht eine Sperre nie aus.
• System B, Hochschulraster (Assurance of Learning [22], sinngemäß übertragen): Zuerst wird die Integrität der Belege geprüft. Ist eine Fundstelle nachweislich erfunden, ist die Antwort gesperrt. Sonst erhält jede Teilkompetenz B1 bis B7 eine Stufe von 1 (übertrifft Erwartungen) bis 4 (erfüllt Erwartungen nicht). Die Gesamtstufe vergibt die KI nach Abwägung, weil der Raster keine Rechenregel vorschreibt. Sie steht am Ende jeder Bewertung als eigene Zeile und wird in der Entblindung je Antwort und je Bedingung ausgewiesen.

10.3 Zusammenfassung je Bedingung

Je Bedingung weist das Programm aus:

• mit Goldstandard die Kategorien als absolute Häufigkeiten;
• mit Goldstandard den Übereinstimmungsgrad als arithmetisches Mittel;
• die Raster-Gesamtstufen als Häufigkeit je Stufe und als Median. Die Skala ist ordinal, daher kein Mittelwert. „Gesperrt“ wird als ungünstigste Stufe eingeordnet.

Für die menschlichen Bögen gelten die Anteile je Kategorie über alle Urteile, die Mittelwerte von Übereinstimmung und Note sowie die Rasterstufen als Häufigkeit je Stufe und Median über alle Urteile.

10.4 Übereinstimmung der Bewertenden

Krippendorffs Alpha [10; 14; 15] für beliebig viele Bewertende, mit fehlenden Werten:

α = 1 − D_o / D_e = 1 − (n − 1) · Σ_u [ Σ_i≠j δ(c_ui, c_uj) / (m_u − 1) ] / Σ_i≠j δ(c_i, c_j)

Dabei gilt:

• u läuft über die Antworten, die mindestens zwei Bewertungen haben;
• m_u ist die Zahl der Werte zu Antwort u, n die Zahl aller paarbaren Werte;
• die Summe im Nenner läuft über alle Paare aller paarbaren Werte.

Die Differenzfunktion δ hängt von der Skala ab:

• für die Kategorie nominal: δ = 0 bei Gleichheit, sonst 1;
• für Übereinstimmungsgrad und Note (1 bis 5) auf Intervallskala: δ = (c − k)²;
• für die Rasterstufe ordinal [14; 15], „gesperrt“ als ungünstigste Stufe 5 eingereiht. n_g ist dabei die Häufigkeit der Stufe g unter allen paarbaren Werten:

δ(c, k) = ( Σ_g=c…k n_g − (n_c + n_k) / 2 )²

Die Umsetzung ist an Krippendorffs Rechenbeispiel geprüft (vier Bewertende, zwölf Einheiten, fehlende Werte) und gibt dessen Werte exakt wieder: nominal 0,743, ordinal 0,815, Intervall 0,849 [14].

Lesart nach Krippendorff [15]: ab 0,800 verlässlich, 0,667 bis 0,800 nur für vorläufige Schlüsse, darunter nicht ausreichend.

Bei genau zwei Bewertenden rechnet das Programm zusätzlich das ungewichtete Cohens Kappa [5], über die Antworten, die beide bewertet haben:

κ = (p_o − p_e) / (1 − p_e),    p_e = Σ_k p_1k · p_2k

KI-Bewertung gegen Menschen. Liegt die verblindete KI-Bewertung im Studienordner, rechnet die Auswertung zusätzlich: den Anteil gleicher Kategorie-Urteile von KI und Menschen, Cohens Kappa zwischen der KI und jeder bewertenden Person (und deren Mittel) sowie Krippendorffs Alpha für Kategorie, Übereinstimmungsgrad und Rasterstufe einmal nur mit den Menschen und einmal mit der KI als weiterer Bewerterin. Sinkt Alpha mit der KI, weicht sie von den Menschen ab.

10.5 Verblindungsprüfung

Nach jeder Bewertung rät der oder die Bewertende, ob die Antwort von einem Menschen oder einer KI stammt. Die bewertende KI gibt dieselbe Vermutung in der Zeile HERKUNFT ab. Gezählt werden die richtigen Vermutungen h unter n. Die Zufallserwartung ergibt sich aus den Randanteilen – so wie die Zufallsübereinstimmung bei Kappa:

p₀ = Σ_{k ∈ {Mensch, KI}} (n_k^wahr / n) · (n_k^vermutet / n)

Geprüft wird einseitig mit dem exakten Binomialtest [7] – ohne Näherung, also auch bei wenigen Vermutungen verlässlich:

p = P(X ≥ h) = Σ_k=h…n C(n, k) · p₀^k · (1 − p₀)^n−k

Die Summe wird über Logarithmen gerechnet und ist damit auch für große n stabil; geprüft an Tabellenwerten (etwa P(X ≥ 6) = 0,1445 für n = 8, p₀ = 0,5).

• Nullhypothese: Die Trefferquote entspricht dem Raten.
• Bei p < 0,05 gilt die Verblindung als nicht gehalten.
• Unter acht Vermutungen trifft das Programm keine Aussage.

Das Verfahren folgt dem Gedanken der Blinding-Indizes von James u. a. [12] und Bang u. a. [1], rechnet diese Indizes aber nicht.

10.6 Diagnostische Genauigkeit nach STARD

Mit einer Ja/Nein-Zielfrage wird jede Bedingung zum Index-Test, der Goldstandard (oder die Festlegung der Studienleitung) zur Referenz [2; 6]. Das Programm bildet je Bedingung über alle Fälle eine Vierfeldertafel:

• RP = richtig positiv, FP = falsch positiv, FN = falsch negativ, RN = richtig negativ;
• „unbestimmte“ Antworten stehen nicht in der Tafel, sondern werden gesondert gezählt;
• Fälle ohne Referenz sind ausgeschlossen.

Sensitivität = RP/(RP+FN)  ·  Spezifität = RN/(RN+FP)  ·  PPW = RP/(RP+FP)  ·  NPW = RN/(RN+FN)  ·  Genauigkeit = (RP+RN)/N

Jeder Anteil p̂ = k/n erhält das 95-%-Wilson-Score-Intervall [21], das auch bei kleinen n und Anteilen nahe 0 oder 1 verlässlich ist [3; 18]. z ist dabei 1,959964:

[ p̂ + z²/(2n) ± z·√( p̂(1−p̂)/n + z²/(4n²) ) ] / (1 + z²/n)

10.7 Reproduzierbarkeit

Das Studienprotokoll hält fest:

• bewertendes Modell mit Version und Datum, Programmstand;
• Zufallssaat, Vereinheitlichung und Pseudonymisierung;
• Goldstandard-Dokumente;
• je Antwort Herkunft, Fragestellung und SHA-256-Prüfsumme.

Der vollständige Wortlaut der Bewertungsanfrage liegt dem Bericht bei. Eine KI-Bewertung ist nicht deterministisch; wiederholte Läufe derselben Antworten zeigen die Streuung der Bewertung selbst.

10.8 Was das Programm nicht rechnet – Empfehlungen für konfirmatorische Studien

• Kein Signifikanztest zwischen Bedingungen. Unterschiede zwischen Reporter, Kontrolle und eingelesenen Antworten sind beschreibend. Für eine konfirmatorische Studie ist die Hypothese vorab zu registrieren und gepaart je Fall zu testen:
  • zwei Bedingungen mit zweistufigem Ergebnis (etwa korrekt / nicht korrekt): McNemar-Test [17];
  • mehr als zwei Bedingungen: Cochrans Q [4];
  • ordinale Rasterstufen: Wilcoxon-Vorzeichen-Rang-Test [20] beziehungsweise Friedman-Test [9];
  • mehrere Tests: Korrektur nach Holm [11].
• Abhängigkeit der Beobachtungen. Mehrere Antworten je Fall und mehrere Bewertende je Antwort sind nicht unabhängig. Die Verblindungsprüfung fasst alle Vermutungen zusammen. Für Inferenz über Fälle hinweg sind gemischte Modelle mit Zufallseffekten für Fall und Bewertende angezeigt.
• Kleine Stichproben. Die Verblindungsprüfung rechnet seit Fassung 3.3 exakt; bei wenigen Vermutungen bleibt ihre Aussagekraft trotzdem gering – unter acht Vermutungen trifft das Programm keine Aussage.
• Fallzahl. Die Breite der Wilson-Intervalle zeigt die Präzision. Die Fallzahl einer Studie sollte vorab nach der gewünschten Intervallbreite oder Teststärke geplant werden.

10.9 Referenzen

1. Bang H, Ni L, Davis CE. Assessment of blinding in clinical trials. Controlled Clinical Trials 2004;25(2):143–156. doi:10.1016/j.cct.2003.10.016
2. Bossuyt PM, Reitsma JB, Bruns DE u. a. STARD 2015: an updated list of essential items for reporting diagnostic accuracy studies. BMJ 2015;351:h5527. doi:10.1136/bmj.h5527
3. Brown LD, Cai TT, DasGupta A. Interval estimation for a binomial proportion. Statistical Science 2001;16(2):101–133. doi:10.1214/ss/1009213286
4. Cochran WG. The comparison of percentages in matched samples. Biometrika 1950;37(3/4):256–266. doi:10.1093/biomet/37.3-4.256
5. Cohen J. A coefficient of agreement for nominal scales. Educational and Psychological Measurement 1960;20(1):37–46. doi:10.1177/001316446002000104
6. Cohen JF, Korevaar DA, Altman DG u. a. STARD 2015 guidelines for reporting diagnostic accuracy studies: explanation and elaboration. BMJ Open 2016;6(11):e012799. doi:10.1136/bmjopen-2016-012799
7. Conover WJ. Practical Nonparametric Statistics. 3. Aufl. New York: Wiley 1999 (Abschn. 3.1, Binomialtest).
8. Durstenfeld R. Algorithm 235: Random permutation. Communications of the ACM 1964;7(7):420. doi:10.1145/364520.364540
9. Friedman M. The use of ranks to avoid the assumption of normality implicit in the analysis of variance. Journal of the American Statistical Association 1937;32(200):675–701. doi:10.1080/01621459.1937.10503522
10. Hayes AF, Krippendorff K. Answering the call for a standard reliability measure for coding data. Communication Methods and Measures 2007;1(1):77–89. doi:10.1080/19312450709336664
11. Holm S. A simple sequentially rejective multiple test procedure. Scandinavian Journal of Statistics 1979;6(2):65–70.
12. James KE, Bloch DA, Lee KK, Kraemer HC, Fuller RK. An index for assessing blindness in a multi-centre clinical trial: disulfiram for alcohol cessation – a VA cooperative study. Statistics in Medicine 1996;15(13):1421–1434.
13. Knuth DE. The Art of Computer Programming, Bd. 2: Seminumerical Algorithms. 3. Aufl. Reading, MA: Addison-Wesley 1997 (Abschn. 3.2.2 und 3.4.2).
14. Krippendorff K. Computing Krippendorff’s Alpha-Reliability. Annenberg School for Communication, Departmental Papers 43, 2011.
15. Krippendorff K. Content Analysis: An Introduction to Its Methodology. 4. Aufl. Thousand Oaks: SAGE 2019.
16. Magesh V, Surani F, Dahl M, Suzgun M, Manning CD, Ho DE. Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools. Journal of Empirical Legal Studies 2025;22:216–242. doi:10.1111/jels.12413
17. McNemar Q. Note on the sampling error of the difference between correlated proportions or percentages. Psychometrika 1947;12(2):153–157. doi:10.1007/BF02295996
18. Newcombe RG. Two-sided confidence intervals for the single proportion: comparison of seven methods. Statistics in Medicine 1998;17(8):857–872.
19. Panickssery A, Bowman SR, Feng S. LLM Evaluators Recognize and Favor Their Own Generations. NeurIPS 2024. arXiv:2404.13076
20. Wilcoxon F. Individual comparisons by ranking methods. Biometrics Bulletin 1945;1(6):80–83. doi:10.2307/3001968
21. Wilson EB. Probable inference, the law of succession, and statistical inference. Journal of the American Statistical Association 1927;22(158):209–212. doi:10.1080/01621459.1927.10502953
22. Hochschul-Bewertungsraster zur Beurteilung von Abschlussarbeiten (Assurance of Learning), Leitfaden, Stand 31.01.2025.
23. Zheng L, Chiang WL, Sheng Y u. a. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. NeurIPS 2023, Datasets and Benchmarks Track. arXiv:2306.05685

11Dokumentation und Reproduzierbarkeit

Anbieter ändern ihre Modelle laufend; ohne genaue Angaben sind KI-Studien nicht reproduzierbar. Der Bericht hält deshalb je Antwort fest: Bedingung, Anbieter, Modellkennung, Version (bei Importen etwa der Systemfingerabdruck aus dem JSON-Export, beim Reporter der Programmstand), Datum und Uhrzeit, die Fragestellung (identisch oder abweichend), den Archiv-Eintrag und eine SHA-256-Prüfsumme der eingelesenen Datei – so lässt sich später belegen, dass genau diese Antwort bewertet wurde. Dazu kommen das bewertende Modell, die Zufallssaat, die Einstellungen zu Vereinheitlichung, Angleichung und Pseudonymisierung und der vollständige Wortlaut der Bewertungsanfragen. Das Protokoll liegt zusätzlich im Studienordner.

12Datenschutz und Einwilligung

Antworten von Studierenden oder Experten sind personenbezogene Daten im Sinne der DSGVO. Das Programm denkt das von Anfang an mit:

• Antworten von Menschen werden nur mit bestätigter Einwilligung eingelesen; Tabellenzeilen mit „Einwilligung: nein“ werden zurückgewiesen.
• Der Knopf Einwilligung (Vorlage) erzeugt eine anpassbare Einwilligungserklärung (Zweck, Daten, Pseudonymisierung, Übermittlung an den KI-Anbieter, Speicherdauer, Widerruf, Art. 6 Abs. 1 lit. a und Art. 7 DSGVO) – ein Ausgangspunkt für Studienleitung und Ethikkommission, keine Rechtsberatung.
• Keine Abhängigkeit. Die Vorlage hält fest: Teilnahme, Nichtteilnahme und Widerruf haben keinen Einfluss auf Noten, Prüfungen oder das Studium. Die Einwilligung holt nicht die Person ein, die prüft oder benotet, und die Studienleitung erfährt bis zum Abschluss der Benotung nicht, wer teilnimmt.
• Teilnehmende werden unter einer Kennung geführt (im Bericht T01, T02 …), Namen gehören nicht in die Kennung. Briefkopf und Unterschrift entfernt die Vereinheitlichung, Namen im Text ersetzt die Pseudonymisierung, bevor etwas an eine KI geht.
• Die Zuordnung Code → Herkunft liegt nur im Schlüsselordner der Studienleitung; die Blindmappe enthält nichts, was auf Personen schließen lässt.

13Der geführte Ablauf

Der Studienmodus führt in sieben Schritten vom Aufruf bis zum Ergebnis. Links stehen die Schritte, rechts je Schritt eine Seite mit Erklärung und einer Grafik, die zeigt, was dort passiert.

1. Was liegt vor? Eine Bereitschaftsprüfung mit Ampel: KI-Schlüssel, Fall im Archiv, Rechtsgebiet, optional Goldstandard, fertige Antworten und Bewertende. Zu jedem Punkt steht, was fehlt und wo es hingehört – und es lässt sich gleich dort beheben, ohne Fensterwechsel: KI-Schlüssel eintragen und testen, Rechtsgebiet wählen, Expertendokumente hinzufügen oder auf das Fenster ziehen, eine eigene Frage eintragen, Antworten einlesen – und unten, welcher Test damit möglich ist. Fehlt nichts, beginnt der Ablauf gleich beim Fall.
2. Fall: ein Archiv-Eintrag, dessen Sachverhalt angezeigt wird – oder eine eigene Fragestellung, etwa die Frage fremder KI-Ergebnisse. Sie ist die Fragestellung für alle Antworten.
3. Goldstandard (optional): die Grafik zeigt den Ablageort (Programmordner › Kategorien › Rechtsgebiet › goldstandard), daneben die gefundenen Dokumente, „Ordner öffnen“ und „Neu laden“. Ohne Goldstandard läuft der Test gegen die Quellen; Kategorie und Übereinstimmungsgrad entfallen, und die Seite sagt, was gemessen wird.
4. Antworten: Reporter-Läufe, Kontrolle ohne Vorschaltsystem, eingelesene Antworten. Liegt der Goldstandard nur den Reporter-Läufen bei, weist das Programm auf den unfairen Vergleich hin.
5. Verblindung: Vereinheitlichen, sprachlich angleichen, Blindmappe – jede Option mit Erklärung.
6. STARD: optional eine Ja/Nein-Zielfrage und die Referenz (aus dem Goldstandard oder von der Studienleitung festgelegt).
7. Übersicht & Start: was verglichen wird, wie der Test läuft, wie viele KI-Anfragen er braucht. „Test starten“ arbeitet im Hintergrund; der Laufbalken zeigt jeden Schritt und hat einen Knopf Abbrechen, der den ganzen Test sauber beendet.

Am Ende öffnet sich das Ergebnisfenster: die Kennzahlen, mit Goldstandard je Bedingung ein Balken mit den Anteilen korrekt, unvollständig und halluziniert sowie die Übereinstimmung mit dem Goldstandard, darunter die nächsten Schritte mit Knöpfen – Bericht öffnen, Studienordner, Bewertungen einlesen, STARD-Bericht.

14Stand der Forschung und Markt

Die wichtigste Referenz ist die Stanford-Studie von Magesh, Surani, Dahl, Suzgun, Manning und Ho, „Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools“, Journal of Empirical Legal Studies 22 (2025), 216–242: Legal RAG (Lexis+ AI, Westlaw AI-Assisted Research, Ask Practical Law AI) verringert Halluzinationen, sie bleiben aber erheblich – je nach Produkt etwa 17 bis 33 Prozent. Die Studie antwortete auf Anbieterversprechen, RAG beseitige Halluzinationen, und war präregistriert. Die Gruppe beschreibt auch, wie aufwendig die manuelle Bewertung war – jede Forschungsgruppe baut sich ihren Bewertungsprozess bisher selbst, meist mit Tabellen und viel Handarbeit. Genau diese Arbeit wird mit dem Studienmodus einfacher; solche Studien sind keine Konkurrenz, sondern die Art Arbeit, für die das Werkzeug gebaut ist.

Feinere Benchmarks wie ClaimRAG-LAW (Das, Abualhaija und Bianculli; 317 Frage-Antwort-Paare, 968 von Fachleuten geprüfte Aussagen, getrennte Auswertung von Suche und Erzeugung bis auf die Ebene einzelner Aussagen) und eine Studie zum österreichischen Umsatzsteuerrecht (Luketina, Benkel und Schuetz, Journal of Business Analytics 2026: Feinabstimmung und RAG an Lehrbuch- und Kanzleifällen – richtig eingestellt eine Unterstützung für Fachleute, für volle Automatisierung nicht reif) zeigen die Richtung. Daneben gibt es allgemeine Evaluationsplattformen für Entwickler und Anbieter juristischer Benchmarks: Der Legal Research Report von Vals AI (14. Oktober 2025; 200 US-Recherchefragen, 199 ausgewertet) sah in der gewichteten Gesamtwertung (Genauigkeit 50 %, Autorität der Quellen 40 %, Angemessenheit 10 %) die spezialisierten Werkzeuge bei 76 bis 78 Prozent (Counsel Stack 78, Alexi 76, Midpage 76), ChatGPT bei 74 Prozent und Anwälte bei 69 Prozent – ein allgemeines Modell also nahezu gleichauf mit Spezialprodukten. Die großen Rechercheplattformen nahmen an dieser Studie nicht teil. Die BenGER-Plattform verbindet Aufgabenerstellung, gemeinsame Annotation, Modellläufe und Auswertung für das deutsche Recht. Solche Lösungen richten sich an Entwickler und Forschende und prüfen eher von außen. Und OpenAI hat mit GDPval gezeigt, dass verblindete Expertenvergleiche zwischen KI- und Menschenarbeit der anerkannte Weg sind – als einmalige Studie.

Die Abgrenzung: Der Studienmodus spricht Anwender und Entscheider an – Fachleute, die wissen wollen, ob eine Technologie für ihre Fälle taugt, bevor sie sie einsetzen oder einkaufen. Damit stehen die Lösungen weniger in Konkurrenz, als es zunächst aussieht. Das Alleinstellungsmerkmal wird über das Gesamtpaket und die Zielgruppe formuliert, nicht über einzelne Funktionen.

Alle Zahlen dieses Kapitels sind am 5. Oktober 2026 gegen die Originalquellen geprüft (Stanford-Studie: JELS 22(2), 216–242, doi:10.1111/jels.12413 – Lexis+ AI 17 %, Westlaw AI-Assisted Research 33 %, Ask Practical Law AI 17 % Halluzinationen, Präregistrierung beim Open Science Framework; ClaimRAG-LAW: arXiv:2605.21071; Vals AI: Originalbericht vom 14. Oktober 2025, gewichtete Gesamtwertung; GDPval: 1.320 Aufgaben aus 44 Berufen, verblindete paarweise Vergleiche durch Fachleute des jeweiligen Berufs, arXiv:2510.04374); die Studie zum österreichischen Umsatzsteuerrecht (arXiv:2507.08468) am 6. Oktober 2026.

15Nächste Schritte

• Gezielte Recherche, ob es doch ein vergleichbares Werkzeug gibt – etwa aus einem universitären Projekt; solche Lösungen sind oft wenig bekannt. Erst danach wird das Alleinstellungsmerkmal nach außen kommuniziert.
• Unabhängige fachliche Durchsicht von Methode, Bewertungskatalog und Aufträgen durch Fachleute, die nicht am Projekt beteiligt sind.
• Echte Fälle aus dem österreichischen Recht mit mehreren Expertendokumenten je Fall statt des bisherigen erfundenen Prüffalls.
• Validierung der KI-Bewertung gegen menschliche Bewertende – mit der neuen Kennzahl aus „Bewertungen einlesen“.
• Pilotstudie mit externen Anwendern – zwei, drei – etwa einem Lehrstuhl für Zivil- oder Öffentliches Recht oder einer größeren Kanzlei. Ein echtes Ergebnis, das mit dem Werkzeug entstanden ist, überzeugt mehr als jede Funktionsliste.
• Präregistrierung des Studiendesigns vor der Auswertung – Fallsammlung, Goldstandard, Kategorien, Messgrößen, Auswertungsplan –, wie es die Stanford-Gruppe getan hat. Zum Stand dieser Fassung ist noch nichts präregistriert; vorgesehen ist eine öffentliche Präregistrierung, etwa beim Open Science Framework.

16Grenzen

• Prüfregeln heute. Automatisch geprüft werden Existenz, Datum und Herkunft zitierter Entscheidungen. Die Fassung von Normen, der Inhaltsabgleich mit dem Rechtssatz, Formatprüfung, fremde Rechtsordnungen und Rechtsbehelfe sind noch nicht automatisch geprüft; erfundene Tatsachen misst der Studienmodus, nicht der laufende Einsatz.
• Eine KI sortiert Antworten im Studienmodus vor. Das schafft Ordnung und Vergleichbarkeit, ersetzt aber keine fachliche Prüfung – dafür gibt es die Blindmappe, und wie gut die KI mit den Menschen übereinstimmt, wird gemessen.
• Schmale Evidenzbasis. Die bisherigen Vorergebnisse beruhen auf einem erfundenen Fall, einem Modell (Claude Opus 4.8) und einem Testtag (1. Oktober 2026). Sie zeigen, dass das Werkzeug funktioniert – nicht, wie gut eine Technologie im Allgemeinen ist. Jede Außendarstellung nennt das ebenso deutlich.
• Mit Goldstandard ist der Vergleich nur so gut wie der Goldstandard. Expertendokumente sollten den Fall vollständig lösen und die tragenden Fundstellen nennen.
• Die Vereinheitlichung entfernt äußere Merkmale; Stil und Argumentationsweise können die Herkunft trotzdem verraten. Ob die Verblindung gehalten hat, zeigt die Verblindungsprüfung.
• Eingescannte Handschrift wird nicht gelesen; PDF und Word-Formate brauchen Microsoft Word auf dem Rechner.
• Kosten: Jeder Reporter- und Kontroll-Lauf kostet so viel wie eine Bewertung, dazu die Bewertungsanfrage, gegebenenfalls die Suchstufe und die Angleichung.

17Was entfallen ist

Der frühere Studienablauf – Arme, Musterlösung, Gutachterbögen, Serienlauf, Wiederholung mit eingefrorenen Fundstellen und der Direktvergleich in drei Fassungen – ist aus dem Programm entfernt. Er war zu kompliziert und maß KI-Fassungen aneinander statt an fachlichem Wissen. Die erste Auswertung aus dieser Zeit bleibt im Dossier Vergleichsauswertung dokumentiert. Seit Fassung 3.4 ist der Goldstandard nicht mehr der Hauptmaßstab, sondern eine wissenschaftliche Zusatzoption; ein Benchmark aus veröffentlichten Entscheidungen wird nicht als Maßstab verwendet (Kapitel 1).