Le persone con e senza il sistema

Un sistema di IA che consiglia le persone è buono solo se le persone decidono meglio con esso. Un sistema che ha ragione il 90% delle volte può comunque peggiorare i suoi utenti, se lo seguono dove sbaglia e smettono di ragionare dove prima lo facevano. oloproof human-ai report risponde a due domande a partire da un file di decisioni delle persone: le persone decidono meglio con l'output del sistema mostrato che senza, e come vi fanno affidamento?

Lo studio

Dai gli stessi casi a più persone. Ogni persona decide alcuni casi con l'output del sistema mostrato e gli altri senza, con la ripartizione scelta a caso per persona, in ordine casuale. La ripartizione deve essere casuale, oppure l'intera suite in ciascuna condizione: una ripartizione scelta dalla persona, dal sistema o in base alla difficoltà rende la risposta sbagliata in un modo che l'intervallo non copre, e Oloproof non può vederlo nel file. Ogni persona decide da sola; un team che discute i casi conta come una persona. Ogni caso ha una risposta di riferimento, decisa in modo indipendente. Vengono decisi due disegni, e rispondono a domande diverse. Incrociato: ogni persona vede ogni caso una volta, in una sola condizione, quindi la risposta è ciò che l'output fa a una decisione. Prima e dopo: ogni persona decide un caso prima da sola e poi di nuovo dopo aver visto l'output, quindi la risposta è un secondo sguardo con l'output contro un primo sguardo senza, il che mescola l'effetto dell'output con l'effetto di guardare di nuovo. In questo disegno la decisione senza output deve venire prima; un file che mostra il contrario viene segnalato. Un file in cui ogni caso è stato deciso una volta in ciascuna condizione da due persone diverse viene chiamato sparso, ed è descritto ma mai deciso.

Scrivi una riga per decisione, come CSV con intestazione o come JSONL:

Decisioni, riferimenti e output sono confrontati come testo dopo aver tolto gli spazi ai bordi, quindi scrivi ogni etichetta in un solo modo. Copia l'esempio con oloproof init --example human-ai: trenta segnalazioni smistate da otto persone, prodotte da un generatore con seed fisso.

oloproof human-ai check decisions.csv
oloproof human-ai report decisions.csv
oloproof human-ai gate decisions.csv --policy policy.yaml

check legge il file e dice a cosa può rispondere. report fornisce ogni misura e non decide nulla. gate decide ogni regola di una policy ed esce con 0 su PASS, 1 su FAIL, 3 su INSUFFICIENT_EVIDENCE e 4 su MANUAL_REVIEW. Ciascuno accetta --json. Il file viene letto sulla tua macchina e non viene mai salvato né inviato.

Con meno senza

La risposta principale è la media, sulle persone, dell'accuratezza di ciascuna persona con l'output mostrato meno la sua stessa accuratezza senza. Ogni persona conta una volta, per quanti casi abbia deciso, quindi poche persone che fanno la maggior parte del lavoro non possono nascondere ciò che l'output fa a tutti gli altri. La risposta riguarda le persone che useranno il sistema, se le persone dello studio sono state estratte da loro, sui casi dello studio, e su altri solo nella misura in cui somigliano a quelli.

L'intervallo è quello che Oloproof usa per ogni media limitata, applicato ai guadagni delle persone. Non fa alcuna ipotesi su come sono distribuiti i guadagni: se una persona su cinque segue il sistema nei suoi errori, l'intervallo ne tiene conto. Ogni lato è corretto con la confidenza dichiarata per qualsiasi numero di persone, quindi una soglia minima non viene superata per fortuna più spesso di quanto dichiarato. Il prezzo è l'ampiezza: con sei persone l'intervallo è largo circa 1,2 su una scala da -1 a 1, con dieci persone circa 0,8, e sotto circa quaranta persone una regola deciderà raramente, a meno che il guadagno sia grande. Quando l'intervallo è più largo di 0,5 il report dice che lo studio non può decidere una soglia utile e all'incirca quante persone gli servirebbero. Un intervallo che trattasse ogni decisione come indipendente sarebbe troppo stretto (la griglia di copertura lo ha misurato coprire il valore vero solo nel 39% dei casi, contro il 95% dichiarato). Una decisione mancante è contata come sbagliata con l'output per il limite inferiore e come giusta con esso per il limite superiore, quindi l'intervallo vale qualunque fossero le decisioni mancanti, e il report mostra l'intervallo della stima su entrambi i riempimenti.

Il metodo è stato ammesso da un audit indipendente il 3 novembre 2026, alle condizioni sopra: persone che decidono da sole, una suddivisione casuale e, in uno studio prima e dopo, prima la decisione senza l'output. Una regola su accuracy_difference decide PASS, FAIL o INSUFFICIENT_EVIDENCE. Servono almeno due persone che abbiano deciso in entrambe le condizioni; con meno, una regola dà INSUFFICIENT_EVIDENCE.

Affidamento

Ogni tasso conta decisioni; il suo denominatore dice quali.

Ogni tasso ha l'intervallo esatto che Oloproof usa per ogni tasso, con le decisioni mancanti riempite in entrambi i modi. Quell'intervallo presuppone decisioni indipendenti. Quando una persona o un caso compare più di una volta nel denominatore di un tasso, come in ogni studio reale, il tasso viene riportato e una regola su di esso dà MANUAL_REVIEW: persone ripetute rendono l'intervallo troppo stretto, e Oloproof non decide su di esso.

Il tempo di decisione è il numero mediano di secondi per condizione, con il suo intervallo, riportato e mai usato in un gate.

Una policy

confidence: 0.95
rules:
  - id: people-decide-better
    metric: accuracy_difference
    minimum: 0.0
  - id: few-follow-a-wrong-suggestion
    metric: over_reliance
    maximum: 0.5

Ogni regola indica una metrica e una soglia. Un minimo passa quando il limite inferiore dell'intervallo è pari o superiore a esso e fallisce quando il limite superiore è sotto; un massimo è lo speculare. Ogni altro caso è INSUFFICIENT_EVIDENCE.

Cosa questo non può dirti

• Parla per le persone da cui sono state estratte le persone dello studio, su casi come quelli dello studio. Persone formate diversamente, o scelte perché il sistema piace loro, sono un'altra popolazione.
• Uno studio prima e dopo misura un secondo sguardo con l'output contro un primo sguardo senza, non l'output da solo.
• Le persone che sanno di essere studiate possono controllare il sistema con più attenzione di quanto facciano al lavoro.
• Le risposte di riferimento sono considerate giuste. Se provengono dalle stesse persone, o dal sistema, lo studio misura l'accordo, non l'accuratezza.
• La lettura delle decisioni dalla coda di revisione ospitata non è costruita: esportale nel file descritto sopra.