Mesurons-nous bien la capacité annoncée ? (validité de construit)
Les tâches et les grilles d’évaluation représentent-elles bien la capacité revendiquée, plutôt qu’un indicateur facile à obtenir mais inadéquat ?
Méthode Construct
Une réponse plausible ne prouve pas encore que le comportement est fiable.
Nous évaluons l’IA dans son contexte réel d’utilisation : le modèle agit dans une tâche, un environnement, un groupe d’utilisateurs, un historique d’interactions et des limites de décision définies.
Méthode
Six dimensions examinées dans chaque évaluation.
Fiabilité et cohérence
Les répétitions révèlent la distribution, la variabilité et les échecs aléatoires, au lieu de ne montrer qu’un cas favorable.
Invariance et DIF
Comparer des langues, des groupes ou des contextes exige des cas équivalents. Un écart DIF ne suffit pas, à lui seul, à prouver une discrimination.
Sensibilité au contexte
Un contexte pertinent doit produire une variation explicable ; un changement sans pertinence ne devrait pas déplacer la décision.
Mémoire et adaptation
Nous vérifions la continuité, la correction des erreurs et l’influence des interactions passées sur les suivantes.
Référence indépendante
La théorie, les données, les grilles d’experts ou une consultation Delphi encadrent l’interprétation sans masquer les désaccords.
Processus
10 étapes contrôlées.
Demande d’adéquation
Nous délimitons un système exécutable, une décision concrète et le plus petit périmètre utile à tester.
Échange bref
L’usage, le calendrier, les responsables, les cas et les parcours d’action sont confirmés.
NDA, DPA et commande
Le périmètre, le prix, la TVA, les accès, les rôles et le calendrier sont définis par écrit.
Protocole
La version, l’environnement, la capacité mesurée, les groupes concernés, les critères et les conclusions exclues sont définis par écrit.
Cas et références
Des cas représentatifs, des cas limites et des cas adverses sont reliés aux grilles d’évaluation.
Mesure de référence
L’exécuteur, la configuration et les données recueillies sont versionnés ; les tests sont répétés dans les mêmes conditions.
Variations contrôlées
Nous faisons varier de façon contrôlée les outils, la langue, les groupes, les ressources, la séquence, la mémoire et les retours du système.
Constats
Chaque constat précise la condition, la procédure de reproduction, la gravité, l’incertitude et l’action recommandée.
Correction et nouvelle exécution
Si elle est prévue, une modification ciblée est appliquée et l’ensemble du protocole est réexécuté.
Remise
Les tests, le dossier de preuves, les limites et la recommandation sont examinés ensemble.
Modélisation à base d’agents (ABM)
Agent · interaction · environnement · temps
Nous évaluons l’IA dans son contexte réel d’utilisation : le modèle agit dans une tâche, un environnement, un groupe d’utilisateurs, un historique d’interactions et des limites de décision définies.
ContextePopulation · environnement · tâche→AgentModèle · règles · mémoire→InteractionRetour · conflit→AdaptationApprentissage · trajectoire→ÉvaluationThéorie · spécialistes · métriques
Usages appropriés
- Ce qui a été observé dans une version définie
- Les défaillances reproductibles
- Les différences entre conditions convenues
- Le respect des critères
- L’incertitude qui affecte la décision
Non établi
- Équivalence entre profils synthétiques et personnes réelles
- Un diagnostic psychologique ou éducatif
- Prédiction exhaustive du comportement humain
- Certification ou conformité juridique
- Absence de toute future défaillance