Ludzie z systemem i bez niego

System AI, który doradza ludziom, jest dobry tylko wtedy, gdy ludzie decydują z nim lepiej. System, który ma rację w 90% przypadków, może mimo to pogorszyć swoich użytkowników, jeśli idą za nim tam, gdzie się myli, i przestają myśleć tam, gdzie wcześniej myśleli. oloproof human-ai report odpowiada na dwa pytania na podstawie pliku z decyzjami ludzi: czy ludzie decydują lepiej, gdy widzą wynik systemu, niż gdy go nie widzą, i jak na nim polegają?

Badanie

Daj te same przypadki kilku osobom. Każda osoba rozstrzyga część przypadków z widocznym wynikiem systemu, a pozostałe bez niego; podział jest losowany dla każdej osoby, a kolejność losowa. Podział musi być losowy albo cały zestaw musi być w każdym warunku: podział wybrany przez osobę, przez system lub według trudności sprawia, że odpowiedź jest błędna w sposób, którego przedział nie obejmuje, a Oloproof nie może tego zobaczyć w pliku. Każda osoba decyduje sama; zespół, który omawia przypadki, liczy się jako jedna osoba. Każdy przypadek ma odpowiedź wzorcową, ustaloną niezależnie. Rozstrzygane są dwa schematy, które odpowiadają na różne pytania. Krzyżowy: każda osoba widzi każdy przypadek raz, w jednym warunku, więc odpowiedzią jest to, co wynik robi z decyzją. Przed i po: każda osoba najpierw rozstrzyga przypadek sama, a potem ponownie po zobaczeniu wyniku, więc odpowiedzią jest drugie spojrzenie z wynikiem wobec pierwszego spojrzenia bez niego, co miesza efekt wyniku z efektem ponownego spojrzenia. W tym schemacie decyzja bez wyniku musi być pierwsza; plik, który pokazuje inaczej, zostaje wskazany. Plik, w którym każdy przypadek rozstrzygnięto raz w każdym warunku przez dwie różne osoby, jest nazywany rzadkim i jest opisywany, ale nigdy rozstrzygany.

Zapisz jeden wiersz na decyzję, jako CSV z nagłówkiem lub jako JSONL:

Decyzje, odpowiedzi wzorcowe i wyniki są porównywane jako tekst po usunięciu spacji na brzegach, więc zapisuj każdą etykietę w jeden sposób. Skopiuj przykład poleceniem oloproof init --example human-ai: trzydzieści zgłoszeń posortowanych przez osiem osób, wygenerowanych przez generator ze stałym seedem.

oloproof human-ai check decisions.csv
oloproof human-ai report decisions.csv
oloproof human-ai gate decisions.csv --policy policy.yaml

check czyta plik i mówi, na co może odpowiedzieć. report podaje każdą miarę i niczego nie rozstrzyga. gate rozstrzyga każdą regułę polityki i kończy się kodem 0 przy PASS, 1 przy FAIL, 3 przy INSUFFICIENT_EVIDENCE i 4 przy MANUAL_REVIEW. Każde przyjmuje --json. Plik jest czytany na twoim komputerze i nigdy nie jest zapisywany ani wysyłany.

Z minus bez

Główną odpowiedzią jest średnia, po ludziach, z trafności każdej osoby z widocznym wynikiem minus jej własna trafność bez niego. Każda osoba liczy się raz, niezależnie od tego, ile przypadków rozstrzygnęła, więc kilka osób wykonujących większość pracy nie może ukryć tego, co wynik robi ze wszystkimi innymi. Odpowiedź dotyczy ludzi, którzy będą używać systemu, jeśli osoby z badania zostały spośród nich wylosowane, na przypadkach z badania, a na innych tylko o tyle, o ile są do nich podobne.

Przedział to ten, którego Oloproof używa dla każdej ograniczonej średniej, zastosowany do zysków ludzi. Nie zakłada niczego o tym, jak rozkładają się zyski: jeśli jedna osoba na pięć podąża za systemem w błędy, przedział to uwzględnia. Każda strona jest poprawna z deklarowaną ufnością przy każdej liczbie osób, więc minimalny próg nie jest przekraczany przez przypadek częściej, niż deklaruje. Ceną jest szerokość: przy sześciu osobach przedział ma szerokość około 1,2 na skali od -1 do 1, przy dziesięciu osobach około 0,8, a poniżej około czterdziestu osób reguła rzadko rozstrzyga, chyba że zysk jest duży. Gdy przedział jest szerszy niż 0,5, raport mówi, że badanie nie może rozstrzygnąć użytecznego progu, i podaje, ilu mniej więcej osób by potrzebowało. Przedział traktujący każdą decyzję jako niezależną byłby o wiele za wąski (siatka pokrycia zmierzyła, że obejmuje prawdziwą wartość zaledwie w 39% przypadków, wobec deklarowanych 95%). Brakująca decyzja jest uzupełniana jako błędna z wynikiem dla dolnej granicy i jako poprawna z nim dla górnej, więc przedział obowiązuje bez względu na to, jakie były brakujące decyzje, a raport pokazuje zakres oszacowania dla obu uzupełnień.

Metoda została dopuszczona przez niezależny audyt 3 listopada 2026 r. na powyższych warunkach: osoby rozstrzygające samodzielnie, losowy podział oraz, w badaniu przed i po, najpierw decyzja bez wyniku systemu. Reguła na accuracy_difference rozstrzyga PASS, FAIL lub INSUFFICIENT_EVIDENCE. Potrzebuje co najmniej dwóch osób, które rozstrzygały w obu warunkach; przy mniejszej liczbie reguła daje INSUFFICIENT_EVIDENCE.

Poleganie na systemie

Każdy wskaźnik liczy decyzje; jego mianownik mówi, które.

Każdy wskaźnik ma dokładny przedział, którego Oloproof używa dla każdego wskaźnika, z brakującymi decyzjami uzupełnionymi w obie strony. Ten przedział zakłada niezależne decyzje. Gdy osoba lub przypadek pojawia się więcej niż raz w mianowniku wskaźnika, jak w każdym prawdziwym badaniu, wskaźnik jest raportowany, a reguła na nim daje MANUAL_REVIEW: powtarzające się osoby czynią przedział zbyt wąskim, a Oloproof nie będzie na nim rozstrzygać.

Czas do decyzji to mediana liczby sekund w każdym warunku, z przedziałem, raportowana i nigdy nieużywana w bramce.

Polityka

confidence: 0.95
rules:
  - id: people-decide-better
    metric: accuracy_difference
    minimum: 0.0
  - id: few-follow-a-wrong-suggestion
    metric: over_reliance
    maximum: 0.5

Każda reguła wskazuje jedną metrykę i jeden próg. Minimum przechodzi, gdy dolna granica przedziału jest na nim lub powyżej, i nie przechodzi, gdy górna granica jest poniżej; maksimum jest lustrzanym odbiciem. Wszystko inne to INSUFFICIENT_EVIDENCE.

Czego to nie może ci powiedzieć

• Mówi o ludziach, spośród których wylosowano osoby z badania, na przypadkach takich jak te z badania. Ludzie inaczej przeszkoleni albo wybrani dlatego, że lubią system, to inna populacja.
• Badanie przed i po mierzy drugie spojrzenie z wynikiem wobec pierwszego spojrzenia bez niego, a nie sam wynik.
• Ludzie, którzy wiedzą, że są badani, mogą sprawdzać system staranniej niż w pracy.
• Odpowiedzi wzorcowe są przyjmowane jako poprawne. Jeśli pochodzą od tych samych ludzi albo od systemu, badanie mierzy zgodność, a nie trafność.
• Odczyt decyzji z hostowanej kolejki przeglądu nie jest zbudowany: wyeksportuj je do powyższego pliku.