Pessoas com e sem o sistema

Um sistema de IA que aconselha pessoas só é bom se as pessoas decidirem melhor com ele. Um sistema que acerta 90% das vezes ainda pode piorar seus usuários, se eles o seguirem onde ele erra e pararem de pensar onde antes pensavam. oloproof human-ai report responde a duas perguntas a partir de um arquivo de decisões de pessoas: as pessoas decidem melhor com a saída do sistema exibida do que sem ela, e como elas confiam nele?

O estudo

Dê os mesmos casos a várias pessoas. Cada pessoa decide alguns casos com a saída do sistema exibida e os outros sem ela, com a divisão escolhida ao acaso por pessoa, em ordem aleatória. A divisão deve ser aleatória, ou a suíte inteira em cada condição: uma divisão escolhida pela pessoa, pelo sistema ou pela dificuldade torna a resposta errada de um jeito que o intervalo não cobre, e o Oloproof não consegue ver isso no arquivo. Cada pessoa decide sozinha; uma equipe que discute os casos conta como uma pessoa. Cada caso tem uma resposta de referência, decidida de forma independente. Dois desenhos são decididos, e eles respondem a perguntas diferentes. Cruzado: cada pessoa vê cada caso uma vez, em uma condição, então a resposta é o que a saída faz com uma decisão. Antes e depois: cada pessoa decide um caso sozinha primeiro e depois de novo após ver a saída, então a resposta é um segundo olhar com a saída contra um primeiro olhar sem ela, o que mistura o efeito da saída com o efeito de olhar de novo. Nesse desenho a decisão sem a saída deve vir primeiro; um arquivo que mostre o contrário é apontado. Um arquivo em que cada caso foi decidido uma vez em cada condição por duas pessoas diferentes é chamado de esparso, e é descrito, mas nunca decidido.

Escreva uma linha por decisão, como CSV com cabeçalho ou como JSONL:

Decisões, referências e saídas são comparadas como texto após remover espaços nas pontas, então escreva cada rótulo de um único jeito. Copie o exemplo com oloproof init --example human-ai: trinta reclamações triadas por oito pessoas, tiradas de um gerador com semente.

oloproof human-ai check decisions.csv
oloproof human-ai report decisions.csv
oloproof human-ai gate decisions.csv --policy policy.yaml

check lê o arquivo e diz o que ele pode responder. report dá todas as medidas e não decide nada. gate decide cada regra de uma política e sai com 0 em PASS, 1 em FAIL, 3 em INSUFFICIENT_EVIDENCE e 4 em MANUAL_REVIEW. Cada um aceita --json. O arquivo é lido na sua máquina e nunca é armazenado nem enviado.

Com menos sem

A resposta principal é a média, entre as pessoas, da acurácia de cada pessoa com a saída exibida menos a sua própria acurácia sem ela. Cada pessoa conta uma vez, não importa quantos casos tenha decidido, então algumas pessoas que fazem a maior parte do trabalho não conseguem esconder o que a saída faz com todas as outras. A resposta é sobre as pessoas que vão usar o sistema, se as pessoas do estudo foram tiradas delas, nos casos do estudo, e em outros só na medida em que se parecem com eles.

O intervalo é o que o Oloproof usa para toda média limitada, aplicado aos ganhos das pessoas. Ele não supõe nada sobre como os ganhos se distribuem: se uma pessoa em cada cinco segue o sistema até o erro, o intervalo leva isso em conta. Cada lado está certo com a confiança declarada para qualquer número de pessoas, então um limite mínimo não é ultrapassado por sorte com mais frequência do que diz. O preço é a largura: com seis pessoas o intervalo tem cerca de 1,2 de largura numa escala de -1 a 1, com dez pessoas cerca de 0,8, e abaixo de cerca de quarenta pessoas uma regra raramente decide, a menos que o ganho seja grande. Quando o intervalo é mais largo que 0,5, o relatório diz que o estudo não consegue decidir um limite útil e de quantas pessoas, aproximadamente, precisaria. Um intervalo que tratasse cada decisão como independente seria estreito demais (a grade de cobertura mediu que ele cobre o valor real em apenas 39% das vezes, contra 95% declarados). Uma decisão ausente é preenchida como errada com a saída para o limite inferior e como certa com ela para o limite superior, então o intervalo vale quaisquer que tenham sido as decisões ausentes, e o relatório mostra a faixa da estimativa entre os dois preenchimentos.

O método foi admitido por uma auditoria independente em 3 de novembro de 2026, nos termos acima: pessoas que decidem sozinhas, uma divisão aleatória e, num estudo de antes e depois, a decisão sem a saída primeiro. Uma regra sobre accuracy_difference decide PASS, FAIL ou INSUFFICIENT_EVIDENCE. Ele precisa de pelo menos duas pessoas que decidiram nas duas condições; com menos, uma regra lê INSUFFICIENT_EVIDENCE.

Confiança no sistema

Cada taxa conta decisões; seu denominador diz quais.

Cada taxa tem o intervalo exato que o Oloproof usa para toda taxa, com as decisões ausentes preenchidas dos dois jeitos. Esse intervalo supõe decisões independentes. Quando uma pessoa ou um caso aparece mais de uma vez no denominador de uma taxa, como em qualquer estudo real, a taxa é relatada e uma regra sobre ela lê MANUAL_REVIEW: pessoas repetidas deixam o intervalo estreito demais, e o Oloproof não decide com base nele.

O tempo até a decisão é a mediana de segundos por condição, com seu intervalo, relatada e nunca usada em gate.

Uma política

confidence: 0.95
rules:
  - id: people-decide-better
    metric: accuracy_difference
    minimum: 0.0
  - id: few-follow-a-wrong-suggestion
    metric: over_reliance
    maximum: 0.5

Cada regra nomeia uma métrica e um limite. Um mínimo passa quando o limite inferior do intervalo está nele ou acima e falha quando o limite superior está abaixo; um máximo é o espelho. Qualquer outra coisa é INSUFFICIENT_EVIDENCE.

O que isto não pode dizer

• Fala pelas pessoas de onde as pessoas do estudo foram tiradas, em casos como os do estudo. Pessoas com outra formação, ou escolhidas porque gostam do sistema, são outra população.
• Um estudo de antes e depois mede um segundo olhar com a saída contra um primeiro olhar sem ela, não a saída sozinha.
• Pessoas que sabem que estão sendo estudadas podem verificar o sistema com mais cuidado do que no trabalho.
• As respostas de referência são tomadas como certas. Se vierem das mesmas pessoas, ou do sistema, o estudo mede concordância, não acurácia.
• Ler decisões da fila de revisão hospedada não está implementado: exporte-as para o arquivo acima.