Revisão não confidencial
Identificamos um sistema funcional, uma decisão e o menor limite viável.
Metodologia Construct
Uma resposta plausível ainda não é comportamento válido.
Avaliamos IA como sistema situado: um modelo atuando dentro de uma tarefa, ambiente, população, história de interação e limite decisório definido.
Processo completo
Dez passos controlados, do pedido à decisão.
O escopo permanece fechado porque responsabilidades, evidências e condições de parada ficam explícitas antes do teste.
Escopo em 20 minutos
Confirmamos finalidade, prazo, responsáveis, casos e trilha.
NDA, DPA e Ordem
Escopo, preço, IVA, acesso, papéis de dados e prazo ficam escritos.
Protocolo de evidências
Registramos versão, ambiente, construto, populações, critérios e não-claims.
Casos e referências
Casos representativos, de limite e adversariais se ligam a rubricas.
Execução repetível
Runner, configuração e captura são versionados e repetidos.
Mudança controlada
Variamos ferramentas, idioma, grupo, recursos, memória e feedback.
Explicação de falhas
Cada achado registra gravidade, condição, reprodução, incerteza e ação.
Correção limitada
Quando incluída, a correção é aplicada e o protocolo inteiro roda novamente.
Decisão e reutilização
Você recebe runner, brief, limites, recomendação e handoff.
Seis perguntas
Psicometria como disciplina de engenharia.
Os conceitos se aplicam ao sistema observado. Eles não transformam saída de IA em teste psicológico nem persona sintética em população real.
Testamos a capacidade alegada?
Tarefas e indicadores devem representar o comportamento, não um proxy fácil.
Quão estável é o padrão?
Repetições expõem dispersão e falhas estocásticas.
As condições são comparáveis?
Grupos, idiomas e contextos exigem tarefas equivalentes e limites explícitos.
O contexto muda o comportamento adequadamente?
O sistema não deve ignorar contexto relevante nem se tornar arbitrário.
Memória e adaptação são coerentes?
Testamos continuidade, contaminação, aprendizagem e dependência de caminho.
O que disciplina a interpretação?
Dados humanos, teoria, especialistas, rubricas ou Delphi podem gerar contraste.
Sobre DIF e invariância
Um sinal diferencial exige investigação; não prova automaticamente viés, discriminação ou invalidade. Claims psicométricos clássicos exigem instrumento, amostra e análise apropriados.
Do output isolado ao sistema observável
Contexto → agente → interação → adaptação → avaliação.
Quando o comportamento emerge entre turnos ou atores, examinamos a relação — não só a frase final.
ContextoPopulação · ambiente · tarefa→AgenteModelo · regras · memória→InteraçãoRodadas · feedback · conflito→AdaptaçãoAjuste · aprendizagem · trajetória→AvaliaçãoTeoria · especialistas · métricas
Exemplo situado
Comportamento humano‑ambiente muda por grupo e fase.
Em risco hídrico, um “agente médio” esconde restrições, exposição desigual e capacidades diferentes de adaptação.
Condições
Pré-evento: percepção e preparo · Durante: evacuação e coping · Pós-evento: recuperação e adaptação.
Maior proteção material
Mais margem para antecipação e planejamento.
Recursos intermediários
Escolhas condicionadas por trade-offs.
Maior vulnerabilidade
Decisão sob urgência, restrição e custo.
A evidência pode sustentar
- O que ocorreu numa versão e ambiente definidos
- Quais falhas foram reproduzidas
- Diferenças entre condições acordadas
- Se critérios foram atingidos
- Quais limites afetam a decisão
Não estabelece sozinha
- Equivalência entre pessoas sintéticas e reais
- Diagnóstico psicológico ou educacional
- Predição exaustiva do comportamento humano
- Certificação ou conformidade legal
- Ausência de todo dano ou falha futura
Pronto para transformar um claim em protocolo?