Validité de construit
Les tâches et rubriques représentent-elles la capacité revendiquée plutôt qu’un proxy facile ?
Méthode Construct
Une réponse plausible n’est pas encore un comportement valide.
Nous évaluons l’IA comme un système situé : un modèle agit dans une tâche, un environnement, une population, une histoire d’interaction et une frontière de décision.
Méthode
Qu’est-ce qui doit rester stable et qu’est-ce qui doit changer de manière justifiée avec le contexte ?
Fidélité et cohérence
Les répétitions montrent distribution, variance et défaillances stochastiques, pas un seul cas favorable.
Invariance et DIF
Comparer langues, groupes ou contextes exige des cas équivalents. Un signal DIF ne prouve pas seul une discrimination.
Sensibilité au contexte
Un contexte pertinent doit produire une variation explicable ; un changement sans pertinence ne devrait pas déplacer la décision.
Mémoire et adaptation
Nous testons continuité, correction et dépendance de trajectoire entre interactions.
Référence indépendante
Théorie, données, rubriques expertes ou Delphi disciplinent l’interprétation sans masquer les désaccords.
Processus
10 étapes contrôlées.
Demande d’adéquation
Nous isolons un système exécutable, une décision et la plus petite frontière évaluable.
Échange bref
Usage, délai, responsables, cas et parcours sont confirmés.
NDA, DPA et commande
Périmètre, prix, TVA, accès, rôles et calendrier sont écrits.
Protocole
Version, environnement, construit, populations, critères et non-affirmations sont consignés.
Cas et références
Cas représentatifs, limites et adversariaux sont liés aux rubriques.
Baseline
Exécuteur, configuration et capture sont versionnés ; les conditions sont répétées.
Stress
Outils, langue, groupes, ressources, séquence, mémoire et feedback varient.
Constats
Chaque constat comprend condition, reproduction, gravité, incertitude et action.
Correction et nouvelle exécution
Si incluse, la correction limitée est appliquée et tout le protocole est rejoué.
Remise
Tests, dossier, limites et recommandation sont examinés ensemble.
ABM
Agent · interaction · environnement · temps
Nous évaluons l’IA comme un système situé : un modèle agit dans une tâche, un environnement, une population, une histoire d’interaction et une frontière de décision.
ContextePopulation · environnement · tâche→AgentModèle · règles · mémoire→InteractionRetour · conflit→AdaptationApprentissage · trajectoire→ÉvaluationThéorie · spécialistes · métriques
Usages appropriés
- Ce qui a été observé dans une version définie
- Les défaillances reproductibles
- Les différences entre conditions convenues
- Le respect des critères
- L’incertitude qui affecte la décision
Non établi
- Équivalence entre personas et personnes réelles
- Diagnostic psychologique ou éducatif
- Prédiction exhaustive du comportement humain
- Certification ou conformité juridique
- Absence de toute future défaillance