Validez de constructo
¿Las tareas y rúbricas representan la capacidad declarada o un proxy fácil?
Método Construct
Una respuesta plausible todavía no es un comportamiento válido.
Evaluamos la IA como sistema situado: un modelo actúa dentro de una tarea, entorno, población, historia de interacción y límite de decisión definido.
Método
¿Qué debe permanecer estable y qué debe cambiar de forma justificable cuando cambia el contexto?
Fiabilidad y coherencia
Las repeticiones muestran distribución, dispersión y fallos estocásticos, no un caso conveniente.
Invariancia y DIF
Comparar lenguas, grupos o contextos exige casos equivalentes. Una señal DIF no prueba discriminación por sí sola.
Sensibilidad al contexto
El contexto relevante debe producir cambios explicables; cambios irrelevantes no deberían desplazar la decisión.
Memoria y adaptación
Probamos continuidad, corrección y dependencia de trayectoria entre interacciones.
Referencia independiente
Teoría, datos, rúbricas expertas o Delphi disciplinan la interpretación sin ocultar desacuerdos.
Proceso
10 pasos controlados.
Solicitud de encaje
Aislamos un sistema ejecutable, una decisión y el límite mínimo evaluable.
Conversación breve
Confirmamos uso, plazo, responsables, casos y línea de evaluación.
NDA, DPA y orden
Alcance, precio, IVA, acceso, roles de datos y calendario quedan por escrito.
Protocolo
Registramos versión, entorno, constructo, poblaciones, criterios y no-afirmaciones.
Casos y referencias
Vinculamos casos representativos, limítrofes y adversariales a rúbricas.
Línea base
Versionamos runner, configuración y captura; repetimos condiciones.
Estrés
Variamos herramientas, lengua, grupos, recursos, secuencia, memoria y feedback.
Hallazgos
Cada hallazgo incluye condición, reproducción, gravedad, incertidumbre y acción.
Corrección y nueva ejecución
Cuando se incluye, aplicamos cambios acotados y repetimos todo el protocolo.
Entrega
Revisamos pruebas, informe, límites y recomendación de decisión.
ABM
Agente · interacción · entorno · tiempo
Evaluamos la IA como sistema situado: un modelo actúa dentro de una tarea, entorno, población, historia de interacción y límite de decisión definido.
ContextoPoblación · entorno · tarea→AgenteModelo · reglas · memoria→InteracciónFeedback · conflicto→AdaptaciónAprendizaje · trayectoria→EvaluaciónTeoría · especialistas · métricas
Aplicaciones adecuadas
- Lo observado en una versión y entorno definidos
- Fallos reproducibles
- Diferencias entre condiciones acordadas
- Cumplimiento de criterios
- Incertidumbre que afecta la decisión
No sustentado
- Equivalencia entre personas sintéticas y reales
- Diagnóstico psicológico o educativo
- Predicción exhaustiva del comportamiento humano
- Certificación o conformidad legal
- Ausencia de todo fallo futuro