Validez de constructo
¿Las tareas y rúbricas representan la capacidad declarada o un indicador sencillo pero inadecuado?
Método Construct
Una respuesta convincente aún no demuestra un comportamiento fiable.
Evaluamos el sistema completo: el modelo dentro de una tarea, un entorno, una secuencia de interacciones y unos límites de decisión definidos.
Método
Seis aspectos que comprobamos en cada evaluación.
Fiabilidad y coherencia
Las repeticiones muestran distribución, dispersión y fallos que aparecen de forma irregular, no un caso conveniente.
Coherencia entre grupos y contextos (invariancia y DIF)
Comparar lenguas, grupos o contextos exige casos equivalentes. Una señal DIF no prueba discriminación por sí sola.
Sensibilidad al contexto
El contexto relevante debe producir cambios explicables; cambios irrelevantes no deberían desplazar la decisión.
Memoria y adaptación
Probamos la continuidad, la corrección de errores y la influencia de las interacciones anteriores.
Referencia independiente
La teoría, los datos y los criterios de expertos o de una consulta Delphi orientan la interpretación sin ocultar desacuerdos.
Proceso
10 pasos controlados.
Evaluación inicial
Delimitamos un sistema ejecutable, una decisión concreta y el menor alcance útil para la prueba.
Conversación breve
Confirmamos la finalidad, el calendario, las personas responsables, los casos y el procedimiento de prueba.
NDA, DPA y acuerdo de trabajo
Alcance, precio, IVA, acceso, roles de datos y calendario quedan por escrito.
Protocolo
Registramos versión, entorno, constructo, poblaciones, criterios y conclusiones que no podrán extraerse.
Casos y referencias
Relacionamos casos habituales, casos límite y casos especialmente difíciles con criterios de evaluación.
Línea base
Versionamos el ejecutor de pruebas, la configuración y los registros; después repetimos las pruebas en las mismas condiciones.
Prueba de resistencia
Variamos herramientas, idioma, públicos, recursos, secuencia, memoria y respuestas del sistema.
Hallazgos
Cada hallazgo incluye condición, reproducción, gravedad, incertidumbre y acción.
Corrección y nueva ejecución
Cuando se incluye, aplicamos cambios acotados y repetimos todo el protocolo.
Entrega
Revisamos pruebas, informe, límites y recomendación de decisión.
Simulación basada en agentes (ABM)
Agente · interacción · entorno · tiempo
Evaluamos el sistema completo: el modelo dentro de una tarea, un entorno, una secuencia de interacciones y unos límites de decisión definidos.
ContextoPoblación · entorno · tarea→AgenteModelo · reglas · memoria→InteracciónRespuesta del entorno · conflicto→AdaptaciónAprendizaje · trayectoria→EvaluaciónTeoría · especialistas · métricas
Lo que la evidencia puede respaldar
- Lo observado en una versión y entorno definidos
- Fallos reproducibles
- Diferencias entre condiciones acordadas
- Qué criterios de prueba se alcanzaron
- Incertidumbre que afecta la decisión
Qué no demuestran estas pruebas por sí solas
- Equivalencia entre perfiles sintéticos y reales
- Diagnóstico psicológico o educativo
- Predicción exhaustiva del comportamiento humano
- Certificación o conformidad legal
- Ausencia de todo fallo futuro