Validación de agentes de IA y flujos LLM
Probamos el uso de herramientas, RAG, memoria y guardrails en condiciones reproducibles — para mostrar qué funciona, qué falla y qué todavía no debería lanzarse.
Dos modos de producto
Use la API si su equipo ya domina el protocolo. Elija Managed Validation si necesita que lo diseñemos, pongamos a prueba e interpretemos.
Ejecute su agente o flujo LLM y envíe únicamente observaciones estructuradas. Reciba métricas legibles por máquinas.
Pago por adelantado. La ventana consecutiva empieza con POST /sessions. Los costes del modelo y proveedor corren por su cuenta. IVA cuando corresponda.
Definimos el protocolo, conectamos por una ruta controlada, investigamos los fallos y entregamos el informe completo.
5 días · un flujo · hasta 30 casos · pruebas reutilizables, mapa de fallos y nota de decisión.
7–10 días · hasta 50 casos · correcciones acotadas, nueva ejecución y evidencia antes/después.
La Metrics API entrega solo métricas de observaciones declaradas por el cliente. El hash identifica el payload recibido; no demuestra la ejecución. No incluye informe, diagnóstico de causa, recomendación, asesoría jurídica ni certificación.
Managed Validation · vías de conexión
Estas vías explican cómo Construct accede a su entorno de prueba en Managed Validation. Son distintas de la Metrics API, que llama su equipo.
Facilita un token temporal y limitado para una API o staging. Ejecutamos casos y registramos respuestas, herramientas, errores, coste y latencia; después se revoca.
Preparamos un pequeño runner o contenedor. Su equipo lo ejecuta localmente o en su nube y comparte únicamente el paquete acordado.
Sin API, utilizamos un espacio temporal, sesión remota supervisada, ejecución por lotes o traces anonimizados.
Después
La prueba es sencilla de entender y estricta para poder repetirse.
Elegir flujo, versión, uso y criterios de éxito.
Crear casos normales, límite y repetidos con resultados esperados.
Correr casos, variar el contexto relevante y medir fallos, latencia y coste.
Entregar runner, evidencia y recomendación: lanzar, corregir o detener.
Aplicaciones
El núcleo se mantiene. Los casos y referencias cambian con el dominio.
RAG, copilotos, agentes con herramientas y flujos estructurados.
02Coherencia entre contextos, poblaciones, interacciones y memoria.
03Tutores, feedback, contenido, rúbricas y progresión.
04Poblaciones, fases, recursos, feedback y adaptación.
En trabajo conductual añadimos constructo, fiabilidad, contexto, memoria y referencia independiente. Las personas sintéticas no sustituyen participantes, muestras representativas ni revisión ética.
Empiece con métricas por API o pídanos diseñar e interpretar la validación completa.