Revisão não confidencial
Identificamos um sistema funcional, uma decisão concreta e o menor escopo útil para o teste.
Metodologia Construct
Uma resposta convincente não prova que o sistema se comporta de forma confiável.
Avaliamos a IA no contexto em que ela será usada: tarefa, ambiente, público, histórico de interação e limites de decisão.
Processo completo
Dez passos controlados, do pedido à decisão.
O escopo permanece fechado porque responsabilidades, evidências e condições de parada ficam explícitas antes do teste.
Escopo em 20 minutos
Confirmamos finalidade, prazo, responsáveis, casos e forma de execução.
NDA, DPA e Ordem
Escopo, preço, IVA, acesso, papéis no tratamento de dados e prazo ficam definidos por escrito.
Protocolo de evidências
Registramos versão, ambiente, capacidade medida, públicos, critérios e conclusões que não poderão ser tiradas.
Casos e referências
Relacionamos casos comuns, casos-limite e casos difíceis a critérios de avaliação.
Execução repetível
Versionamos o executor, a configuração e os registros; depois repetimos os testes nas mesmas condições.
Mudança controlada
Variamos ferramentas, idioma, público, recursos, memória e respostas do sistema.
Explicação de falhas
Cada achado registra gravidade, condição, reprodução, incerteza e ação.
Correção limitada
Quando previsto no escopo, fazemos uma correção pontual e repetimos todos os testes.
Decisão e reutilização
Você recebe o executor de testes, o resumo, os limites, a recomendação e instruções para continuidade.
Seis perguntas
Psicometria como disciplina de engenharia.
Os conceitos se aplicam ao sistema observado. Eles não transformam saída de IA em teste psicológico nem um perfil sintético em uma população real.
Testamos a capacidade alegada?
Tarefas e indicadores devem representar o comportamento, não um indicador fácil, mas inadequado.
Quão estável é o padrão?
Repetições expõem dispersão e falhas que aparecem de forma irregular.
As condições são comparáveis?
Grupos, idiomas e contextos exigem tarefas equivalentes e limites explícitos.
O contexto muda o comportamento adequadamente?
O sistema não deve ignorar contexto relevante nem se tornar arbitrário.
Memória e adaptação são coerentes?
Testamos continuidade, contaminação, aprendizagem e o efeito das interações anteriores.
O que disciplina a interpretação?
Dados humanos, teoria, critérios de especialistas ou um painel Delphi orientam a interpretação.
Diferenças entre grupos e contextos (DIF e invariância)
Um sinal diferencial exige investigação; não prova automaticamente viés, discriminação ou invalidade. Conclusões psicométricas formais exigem instrumento, amostra e análise apropriados.
Do resultado isolado ao sistema observável
Contexto → agente → interação → adaptação → avaliação.
Quando o comportamento emerge entre turnos ou atores, examinamos a relação — não só a frase final.
ContextoPopulação · ambiente · tarefa→AgenteModelo · regras · memória→InteraçãoRodadas · resposta do ambiente · conflito→AdaptaçãoAjuste · aprendizagem · trajetória→AvaliaçãoTeoria · especialistas · métricas
Exemplo situado
Comportamento humano‑ambiente muda por grupo e fase.
Em risco hídrico, um “agente médio” esconde restrições, exposição desigual e capacidades diferentes de adaptação.
Condições
Pré-evento: percepção e preparo · Durante: evacuação e estratégias de resposta · Pós-evento: recuperação e adaptação.
Maior proteção material
Mais margem para antecipação e planejamento.
Recursos intermediários
Escolhas condicionadas por prioridades concorrentes.
Maior vulnerabilidade
Decisão sob urgência, restrição e custo.
A evidência pode sustentar
- O que ocorreu numa versão e ambiente definidos
- Quais falhas foram reproduzidas
- Diferenças entre condições acordadas
- Se critérios foram atingidos
- Quais limites afetam a decisão
Não estabelece sozinha
- Equivalência entre perfis sintéticos e pessoas reais
- Diagnóstico psicológico ou educacional
- Predição exaustiva do comportamento humano
- Certificação ou conformidade legal
- Ausência de todo dano ou falha futura
Pronto para transformar uma afirmação em um protocolo verificável?