Konstruktvalidität
Prüfen Aufgaben und Rubriken tatsächlich die behauptete Fähigkeit statt eines bequemen Proxys?
Construct-Methodik
Eine plausible Antwort ist noch kein valides Verhalten.
Wir bewerten KI als situiertes System: ein Modell handelt in einer Aufgabe, Umwelt, Population, Interaktionsgeschichte und klaren Entscheidungsgrenze.
Methodik
Was soll stabil bleiben – und was soll sich bei relevantem Kontext nachvollziehbar verändern?
Reliabilität und Konsistenz
Wiederholungen zeigen Verteilung, Streuung und stochastische Fehler – nicht nur einen günstigen Lauf.
Messinvarianz und DIF
Vergleiche über Sprachen, Gruppen oder Kontexte benötigen äquivalente Fälle. Ein DIF-Signal ist ein Prüfhinweis, kein automatischer Diskriminierungsnachweis.
Kontextsensitivität
Relevanter Kontext soll erklärbare Veränderung erzeugen; irrelevante Formulierungen sollten Entscheidungen nicht systematisch verschieben.
Gedächtnis und Anpassung
Kontinuität, Korrekturfähigkeit und Pfadabhängigkeit werden über mehrere Interaktionen geprüft.
Fachlicher Referenzabgleich
Theorie, Daten, Expertenrubriken oder Delphi können Interpretationen disziplinieren; Uneinigkeit bleibt sichtbar.
Vorgehen
10 kontrollierte Schritte.
Eignungsanfrage
Wir isolieren ein lauffähiges System, eine Entscheidung und die kleinste prüfbare Grenze.
Kurzgespräch
Verwendungszweck, Frist, Verantwortliche, Fälle und Prüfpfad werden bestätigt.
NDA, DPA und Auftrag
Umfang, Preis, Umsatzsteuer, Zugang, Datenrollen und Zeitplan werden schriftlich vereinbart.
Evidenzprotokoll
Version, Umgebung, Konstrukt, Populationen, Kriterien und Nicht-Aussagen werden dokumentiert.
Fälle und Referenzen
Repräsentative, grenzwertige und adversariale Fälle werden mit Rubriken verknüpft.
Baseline
Runner, Konfiguration und Evidenzerfassung werden versioniert; Bedingungen wiederholt ausgeführt.
Belastungstest
Werkzeuge, Sprache, Gruppen, Ressourcen, Reihenfolge, Gedächtnis und Feedback werden gezielt variiert.
Befunde
Jeder Befund enthält Bedingung, Reproduktion, Schwere, Unsicherheit und nächste Maßnahme.
Korrektur und Retest
Wenn enthalten, werden begrenzte Änderungen angewendet und das Protokoll vollständig wiederholt.
Übergabe
Tests, Evidenzbericht, Grenzen und Freigabeempfehlung werden gemeinsam überprüft.
ABM
Akteur · Interaktion · Umwelt · Zeit
Wir bewerten KI als situiertes System: ein Modell handelt in einer Aufgabe, Umwelt, Population, Interaktionsgeschichte und klaren Entscheidungsgrenze.
KontextPopulation · Umwelt · Aufgabe→AkteurModell · Regeln · Gedächtnis→InteraktionFeedback · Konflikt→AnpassungLernen · Verlauf→BewertungTheorie · Fachleute · Metriken
Geeignete Anwendungen
- Beobachtung in einer definierten Version und Umgebung
- Reproduzierbare Fehler
- Unterschiede zwischen vereinbarten Bedingungen
- Erfüllung vereinbarter Kriterien
- Entscheidungsrelevante Unsicherheit
Nicht unterstützt
- Gleichsetzung synthetischer und realer Menschen
- Psychologische oder pädagogische Diagnose
- Vollständige Vorhersage menschlichen Verhaltens
- Zertifizierung oder Rechtskonformität
- Ausschluss aller künftigen Fehler