Validierung von KI-Agenten und LLM-Workflows
Wir testen Tool-Nutzung, RAG, Memory und Guardrails unter reproduzierbaren Bedingungen — damit sichtbar wird, was funktioniert, was scheitert und was noch nicht live gehen sollte.
Zwei Produktmodi
Nutzen Sie die API, wenn Ihr Team das Prüfprotokoll bereits beherrscht. Wählen Sie Managed Validation, wenn wir es entwickeln, hinterfragen und auswerten sollen.
Führen Sie Ihren Agenten oder LLM-Workflow selbst aus und senden Sie ausschließlich strukturierte Beobachtungen. Sie erhalten maschinenlesbare Metriken.
Im Voraus bezahlt. Das zusammenhängende Fenster startet mit POST /sessions. Modell- und Providerkosten zahlen Sie separat. Ggf. zzgl. Umsatzsteuer.
Wir entwickeln das Protokoll, verbinden uns über eine kontrollierte Route, untersuchen Fehler und liefern den vollständigen Bericht.
5 Werktage · ein Workflow · bis zu 30 Fälle · wiederverwendbare Tests, Fehlerkarte und Entscheidung.
7–10 Werktage · bis zu 50 Fälle · begrenzte Korrekturen, vollständiger Retest und Vorher/Nachher-Evidenz.
Die Metrics API liefert nur Messwerte aus vom Kunden gemeldeten Beobachtungen. Der Payload-Hash bestätigt deren Identität, nicht ihre sachliche Richtigkeit. Enthalten sind weder Bericht, Ursachenanalyse, Release-Empfehlung, Rechtsberatung noch Zertifizierung.
Managed Validation · Verbindungswege
Diese Wege beschreiben, wie Construct Ihr Testsystem bei Managed Validation erreicht. Sie unterscheiden sich von der Metrics API, die Ihr Team aufruft.
Sie stellen einen zeitlich begrenzten Token für API oder Staging bereit. Wir führen Fälle aus, erfassen Antworten, Tool-Aufrufe, Fehler, Kosten und Latenz; danach wird der Token widerrufen.
Wir bereiten einen kleinen Runner oder Container vor. Ihr Team führt ihn lokal oder in Ihrer Cloud aus und teilt nur das vereinbarte Ergebnispaket.
Ohne API nutzen wir einen temporären Testraum, eine beaufsichtigte Remote-Sitzung, Batch-Export oder anonymisierte Traces.
Danach
Der Test bleibt verständlich und zugleich wiederholbar.
Workflow, Version, Zweck und Erfolgskriterien festlegen.
Normale, grenzwertige und wiederholte Fälle mit Erwartung erstellen.
Fälle ausführen, relevanten Kontext verändern, Fehler, Latenz und Kosten messen.
Runner, Evidenz und Empfehlung liefern: freigeben, korrigieren oder halten.
Anwendungen
Der Testkern bleibt gleich. Fälle und Referenzkriterien ändern sich mit dem Einsatz.
RAG, Copilots, Agenten mit Tools und strukturierte Workflows.
02Kohärenz über Kontexte, Populationen, Interaktionen und Gedächtnis.
03Tutoren, Feedback, Inhalte, Rubriken und Lernverlauf.
04Populationen, Ereignisphasen, Ressourcen, Feedback und Anpassung.
Für Verhaltensfragen ergänzen wir Konstrukt, Reliabilität, Kontext, Gedächtnis und unabhängige Referenzen. Synthetische Personas ersetzen weder Teilnehmende noch repräsentative Stichproben oder Ethikprüfung.
Beginnen Sie mit API-Metriken oder lassen Sie uns die vollständige Validierung entwickeln und interpretieren.