Menschen mit und ohne das System

Ein KI-System, das Menschen berät, ist nur gut, wenn diese Menschen mit ihm besser entscheiden. Ein System, das in 90 % der Fälle recht hat, kann seine Nutzer trotzdem schlechter machen, wenn sie ihm dort folgen, wo es falsch liegt, und dort aufhören nachzudenken, wo sie früher nachgedacht haben. oloproof human-ai report beantwortet aus einer Datei mit Entscheidungen von Menschen zwei Fragen: Entscheiden Menschen besser, wenn die Ausgabe des Systems angezeigt wird, als ohne sie, und wie verlassen sie sich darauf?

Die Studie

Geben Sie mehreren Menschen dieselben Fälle. Jede Person entscheidet einige Fälle mit angezeigter Ausgabe des Systems und die übrigen ohne, wobei die Aufteilung je Person zufällig gewählt wird, in zufälliger Reihenfolge. Die Aufteilung muss zufällig sein, oder die ganze Suite liegt in jeder Bedingung: Eine Aufteilung, die die Person, das System oder die Schwierigkeit wählt, macht die Antwort auf eine Weise falsch, die das Intervall nicht abdeckt, und Oloproof kann das in der Datei nicht sehen. Jede Person entscheidet allein; ein Team, das Fälle bespricht, zählt als eine Person. Jeder Fall hat eine Referenzantwort, unabhängig entschieden. Zwei Designs werden entschieden, und sie beantworten verschiedene Fragen. Gekreuzt: Jede Person sieht jeden Fall einmal, in einer Bedingung, also ist die Antwort, was die Ausgabe mit einer Entscheidung macht. Vorher und nachher: Jede Person entscheidet einen Fall zuerst allein und dann noch einmal, nachdem sie die Ausgabe gesehen hat, also ist die Antwort ein zweiter Blick mit der Ausgabe gegenüber einem ersten Blick ohne sie, was die Wirkung der Ausgabe mit der Wirkung des erneuten Hinsehens vermischt. In diesem Design muss die Entscheidung ohne die Ausgabe zuerst kommen; eine Datei, die etwas anderes zeigt, wird benannt. Eine Datei, in der jeder Fall in jeder Bedingung einmal von zwei verschiedenen Personen entschieden wurde, wird als dünn besetzt benannt und beschrieben, aber nie entschieden.

Schreiben Sie eine Zeile pro Entscheidung, als CSV mit Kopfzeile oder als JSONL:

Entscheidungen, Referenzen und Ausgaben werden nach dem Entfernen von Leerzeichen an den Rändern als Text verglichen; schreiben Sie jedes Label also auf eine einzige Weise. Kopieren Sie das Beispiel mit oloproof init --example human-ai: dreißig Behauptungen, von acht Personen gesichtet, aus einem Generator mit Seed.

oloproof human-ai check decisions.csv
oloproof human-ai report decisions.csv
oloproof human-ai gate decisions.csv --policy policy.yaml

check liest die Datei und sagt, was sie beantworten kann. report gibt jedes Maß aus und entscheidet nichts. gate entscheidet jede Regel einer Policy und endet mit 0 bei PASS, 1 bei FAIL, 3 bei INSUFFICIENT_EVIDENCE und 4 bei MANUAL_REVIEW. Jeder Befehl nimmt --json. Die Datei wird auf Ihrem Rechner gelesen und nie gespeichert oder gesendet.

Mit minus ohne

Die Hauptantwort ist der Durchschnitt über die Menschen aus der Genauigkeit jeder Person mit angezeigter Ausgabe minus ihrer eigenen Genauigkeit ohne sie. Jede Person zählt einmal, wie viele Fälle sie auch entschieden hat, sodass einige wenige, die den Großteil der Arbeit leisten, nicht verbergen können, was die Ausgabe mit allen anderen macht. Die Antwort betrifft die Menschen, die das System nutzen werden, sofern die Menschen der Studie aus ihnen gezogen wurden, auf den Fällen der Studie, und auf anderen nur so weit, wie sie ihnen gleichen.

Das Intervall ist dasjenige, das Oloproof für jeden beschränkten Durchschnitt verwendet, angewandt auf die Gewinne der Menschen. Es setzt nichts darüber voraus, wie die Gewinne verteilt sind: Folgt eine von fünf Personen dem System in Fehler, berücksichtigt das Intervall das. Jede Seite stimmt bei jeder Zahl von Menschen mit der angegebenen Konfidenz, sodass eine Mindestschwelle nicht öfter durch Zufall überschritten wird, als angegeben. Der Preis ist die Breite: Mit sechs Personen ist das Intervall etwa 1,2 breit auf einer Skala von -1 bis 1, mit zehn Personen etwa 0,8, und unter etwa vierzig Personen wird eine Regel selten entscheiden, außer der Gewinn ist groß. Ist das Intervall breiter als 0,5, sagt der Bericht, dass die Studie keine nützliche Schwelle entscheiden kann, und ungefähr, wie viele Personen sie bräuchte. Ein Intervall, das jede Entscheidung als unabhängig behandelte, wäre viel zu schmal (das Abdeckungsraster hat gemessen, dass es den wahren Wert nur in 39 % der Fälle trifft, bei angegebenen 95 %). Eine fehlende Entscheidung wird für die untere Grenze als falsch mit der Ausgabe und für die obere Grenze als richtig mit ihr aufgefüllt, sodass das Intervall hält, wie auch immer die fehlenden Entscheidungen ausgefallen wären, und der Bericht zeigt die Spanne der Schätzung über beide Auffüllungen.

Die Methode wurde am 3. November 2026 durch ein unabhängiges Audit zugelassen, zu den obigen Bedingungen: Personen, die allein entscheiden, eine zufällige Aufteilung und, in einer Vorher-nachher-Studie, zuerst die Entscheidung ohne die Ausgabe. Eine Regel auf accuracy_difference entscheidet PASS, FAIL oder INSUFFICIENT_EVIDENCE. Sie braucht mindestens zwei Personen, die in beiden Bedingungen entschieden haben; mit weniger ergibt eine Regel INSUFFICIENT_EVIDENCE.

Verlass auf das System

Jede Rate zählt Entscheidungen; ihr Nenner sagt, welche.

Jede Rate hat das exakte Intervall, das Oloproof für jede Rate verwendet, mit fehlenden Entscheidungen in beide Richtungen ergänzt. Dieses Intervall setzt unabhängige Entscheidungen voraus. Wenn eine Person oder ein Fall mehr als einmal im Nenner einer Rate vorkommt, wie in jeder echten Studie, wird die Rate berichtet und eine Regel darauf ergibt MANUAL_REVIEW: Wiederholte Personen machen das Intervall zu schmal, und Oloproof entscheidet nicht darauf.

Die Zeit bis zur Entscheidung ist die mediane Zahl an Sekunden je Bedingung, mit ihrem Intervall, berichtet und nie als Gate verwendet.

Eine Policy

confidence: 0.95
rules:
  - id: people-decide-better
    metric: accuracy_difference
    minimum: 0.0
  - id: few-follow-a-wrong-suggestion
    metric: over_reliance
    maximum: 0.5

Jede Regel nennt eine Metrik und eine Schwelle. Ein Minimum besteht, wenn die untere Grenze des Intervalls auf oder über ihr liegt, und scheitert, wenn die obere Grenze darunter liegt; ein Maximum ist das Spiegelbild. Alles andere ist INSUFFICIENT_EVIDENCE.

Was dies Ihnen nicht sagen kann

• Es spricht für die Menschen, aus denen die Menschen der Studie gezogen wurden, auf Fällen wie denen der Studie. Anders geschulte Menschen oder solche, die ausgewählt wurden, weil sie das System mögen, sind eine andere Population.
• Eine Vorher-nachher-Studie misst einen zweiten Blick mit der Ausgabe gegenüber einem ersten Blick ohne sie, nicht die Ausgabe allein.
• Menschen, die wissen, dass sie untersucht werden, prüfen das System womöglich sorgfältiger als bei der Arbeit.
• Die Referenzantworten gelten als richtig. Stammen sie von denselben Menschen oder vom System, misst die Studie Übereinstimmung, nicht Genauigkeit.
• Entscheidungen aus der gehosteten Review-Warteschlange zu lesen ist nicht gebaut: Exportieren Sie sie in die obige Datei.