Mensen met en zonder het systeem

Een AI-systeem dat mensen adviseert is alleen goed als mensen er beter mee beslissen. Een systeem dat in 90% van de gevallen gelijk heeft, kan zijn gebruikers toch slechter maken, als ze het volgen waar het fout zit en ophouden met nadenken waar ze dat vroeger wel deden. oloproof human-ai report beantwoordt twee vragen op basis van een bestand met beslissingen van mensen: beslissen mensen beter met de uitvoer van het systeem in beeld dan zonder, en hoe vertrouwen ze erop?

Het onderzoek

Geef dezelfde cases aan meerdere mensen. Elke persoon beslist sommige cases met de uitvoer van het systeem in beeld en de andere zonder, waarbij de verdeling per persoon willekeurig wordt gekozen, in willekeurige volgorde. De verdeling moet willekeurig zijn, of de hele suite in elke conditie: een verdeling gekozen door de persoon, door het systeem of naar moeilijkheid maakt het antwoord fout op een manier die het interval niet dekt, en Oloproof kan dat niet in het bestand zien. Elke persoon beslist alleen; een team dat cases bespreekt telt als één persoon. Elke case heeft een referentieantwoord, onafhankelijk vastgesteld. Twee opzetten worden beslist, en ze beantwoorden verschillende vragen. Gekruist: elke persoon ziet elke case één keer, in één conditie, dus het antwoord is wat de uitvoer met een beslissing doet. Voor en na: elke persoon beslist een case eerst alleen en daarna opnieuw na het zien van de uitvoer, dus het antwoord is een tweede blik met de uitvoer tegenover een eerste blik zonder, wat het effect van de uitvoer mengt met het effect van opnieuw kijken. In die opzet moet de beslissing zonder uitvoer eerst komen; een bestand dat anders laat zien wordt benoemd. Een bestand waarin elke case één keer in elke conditie werd beslist door twee verschillende mensen heet ijl, en wordt beschreven maar nooit beslist.

Schrijf één rij per beslissing, als CSV met een kopregel of als JSONL:

Beslissingen, referenties en uitvoer worden als tekst vergeleken na het weghalen van spaties aan de randen, dus schrijf elk label op één manier. Kopieer het voorbeeld met oloproof init --example human-ai: dertig meldingen beoordeeld door acht mensen, gemaakt door een generator met vaste seed.

oloproof human-ai check decisions.csv
oloproof human-ai report decisions.csv
oloproof human-ai gate decisions.csv --policy policy.yaml

check leest het bestand en zegt wat het kan beantwoorden. report geeft elke maat en beslist niets. gate beslist elke regel van een beleid en sluit af met 0 bij PASS, 1 bij FAIL, 3 bij INSUFFICIENT_EVIDENCE en 4 bij MANUAL_REVIEW. Elk accepteert --json. Het bestand wordt op je eigen machine gelezen en nooit opgeslagen of verstuurd.

Met min zonder

Het hoofdantwoord is het gemiddelde, over mensen, van de nauwkeurigheid van elke persoon met de uitvoer in beeld min de eigen nauwkeurigheid zonder. Elke persoon telt één keer, hoeveel cases die persoon ook besliste, dus een paar mensen die het meeste werk doen kunnen niet verbergen wat de uitvoer met alle anderen doet. Het antwoord gaat over de mensen die het systeem zullen gebruiken, als de mensen in het onderzoek uit hen zijn getrokken, op de cases in het onderzoek, en op andere alleen voor zover ze erop lijken.

Het interval is het interval dat Oloproof voor elk begrensd gemiddelde gebruikt, toegepast op de winst van de mensen. Het maakt geen aanname over hoe de winst verdeeld is: als één op de vijf mensen het systeem in fouten volgt, houdt het interval daar rekening mee. Elke kant klopt met de opgegeven betrouwbaarheid bij elk aantal mensen, dus een minimumdrempel wordt niet vaker door toeval gehaald dan opgegeven. De prijs is breedte: met zes mensen is het interval ongeveer 1,2 breed op een schaal van -1 tot 1, met tien mensen ongeveer 0,8, en onder ongeveer veertig mensen beslist een regel zelden, tenzij de winst groot is. Als het interval breder is dan 0,5, zegt het rapport dat het onderzoek geen bruikbare drempel kan beslissen en ongeveer hoeveel mensen het nodig zou hebben. Een interval dat elke beslissing als onafhankelijk behandelt zou veel te smal zijn (het dekkingsraster mat dat het de ware waarde maar in 39% van de gevallen dekt, tegen een opgegeven 95%). Een ontbrekende beslissing wordt voor de ondergrens ingevuld als fout met de uitvoer en voor de bovengrens als goed ermee, dus het interval klopt wat de ontbrekende beslissingen ook waren, en het rapport toont het bereik van de schatting over beide invullingen.

De methode is op 3 november 2026 door een onafhankelijke audit toegelaten, op de voorwaarden hierboven: mensen die alleen beslissen, een willekeurige verdeling en, in een voor-en-na-onderzoek, eerst de beslissing zonder de uitvoer. Een regel op accuracy_difference beslist PASS, FAIL of INSUFFICIENT_EVIDENCE. Ze heeft minstens twee mensen nodig die in beide condities beslisten; met minder geeft een regel INSUFFICIENT_EVIDENCE.

Afhankelijkheid

Elk percentage telt beslissingen; de noemer zegt welke.

Elk percentage heeft het exacte interval dat Oloproof voor elk percentage gebruikt, met ontbrekende beslissingen in beide richtingen ingevuld. Dat interval gaat uit van onafhankelijke beslissingen. Wanneer een persoon of een case meer dan eens in de noemer van een percentage voorkomt, zoals in elk echt onderzoek, wordt het percentage gerapporteerd en geeft een regel erop MANUAL_REVIEW: herhaalde mensen maken het interval te smal, en Oloproof beslist er niet op.

De tijd tot een beslissing is het mediane aantal seconden per conditie, met zijn interval, gerapporteerd en nooit in een gate gebruikt.

Een beleid

confidence: 0.95
rules:
  - id: people-decide-better
    metric: accuracy_difference
    minimum: 0.0
  - id: few-follow-a-wrong-suggestion
    metric: over_reliance
    maximum: 0.5

Elke regel noemt één metriek en één drempel. Een minimum slaagt als de ondergrens van het interval erop of erboven ligt en faalt als de bovengrens eronder ligt; een maximum is het spiegelbeeld. Al het andere is INSUFFICIENT_EVIDENCE.

Wat dit je niet kan vertellen

• Het spreekt voor de mensen uit wie de mensen in het onderzoek zijn getrokken, op cases zoals die in het onderzoek. Mensen die anders zijn opgeleid, of gekozen omdat ze het systeem goed vinden, zijn een andere populatie.
• Een voor-en-na-onderzoek meet een tweede blik met de uitvoer tegenover een eerste blik zonder, niet de uitvoer alleen.
• Mensen die weten dat ze worden onderzocht, controleren het systeem misschien zorgvuldiger dan op het werk.
• De referentieantwoorden worden als juist aangenomen. Als ze van dezelfde mensen komen, of van het systeem, meet het onderzoek overeenstemming, geen nauwkeurigheid.
• Beslissingen lezen uit de gehoste beoordelingswachtrij is niet gebouwd: exporteer ze naar het bestand hierboven.