有系統與沒有系統時的人

一個為人提供建議的 AI 系統，只有在人們藉助它做出更好的決定時才算好。一個 90% 的時候都正確的系統仍可能讓使用者變得更差：如果他們在它出錯的地方照著做，在過去會思考的地方不再思考。oloproof human-ai report 從一份記錄人們決定的檔案中回答兩個問題：顯示系統輸出時，人們是否比不顯示時決定得更好？他們又是如何依賴它的？

研究

把同樣的案例交給幾個人。每個人在顯示系統輸出的情況下決定一部分案例，在不顯示的情況下決定其餘案例，劃分按人隨機選擇，順序隨機。劃分必須是隨機的，或者每種條件下都用整套案例：由本人、由系統或按難度選擇的劃分會讓答案以區間無法涵蓋的方式出錯，而 Oloproof 無法在檔案中看出這一點。每個人獨自決定；討論案例的團隊算作一個人。每個案例都有一個獨立確定的參考答案。有兩種設計會被決定，它們回答不同的問題。交叉設計：每個人在一種條件下看每個案例一次，所以答案是輸出對一個決定的作用。前後對照設計：每個人先獨自決定一個案例，看到輸出後再決定一次，所以答案是有輸出的第二次查看對比沒有輸出的第一次查看，這把輸出的作用和再看一次的作用混在了一起。在這種設計中，不看輸出的決定必須在前；顯示相反順序的檔案會被指出。每個案例在每種條件下由兩個不同的人各決定一次的檔案被稱為稀疏設計，它會被描述，但從不被決定。

每個決定寫一列，格式為帶標頭的 CSV 或 JSONL：

決定、參考答案和輸出在去掉首尾空白後按文字比較，所以每個標籤只用一種寫法。用 oloproof init --example human-ai 複製範例：由八個人分流的三十件理賠，取自一個帶種子的產生器。

oloproof human-ai check decisions.csv
oloproof human-ai report decisions.csv
oloproof human-ai gate decisions.csv --policy policy.yaml

check 讀取檔案並說明它能回答什麼。report 給出每一項度量，不做任何決定。gate 判定政策的每條規則，PASS 時結束代碼為 0，FAIL 為 1，INSUFFICIENT_EVIDENCE 為 3，MANUAL_REVIEW 為 4。每個指令都接受 --json。檔案在你的機器上讀取，從不儲存或傳送。

有減去沒有

主要答案是按人取平均：每個人在顯示輸出時的準確率減去他自己在不顯示時的準確率。無論決定了多少案例，每個人只算一次，所以少數承擔大部分工作的人無法掩蓋輸出對其他所有人的作用。如果研究中的人是從將要使用系統的人中抽取的，答案就是關於這些人的，並且針對研究中的案例；對其他案例，只在它們與這些案例相似的程度上成立。

區間是 Oloproof 用於每個有界平均值的區間，應用於每個人的增益。它不對增益如何分布做任何假設：如果五個人中有一個跟著系統出錯，區間也會把這考慮在內。在任何人數下，每一側都以宣告的信賴水準成立，所以最低門檻被運氣通過的頻率不會超過它所說的。代價是寬度：六個人時，在 -1 到 1 的尺度上區間寬約 1.2，十個人時約 0.8，少於大約四十個人時，除非增益很大，規則很少能做出決定。當區間寬於 0.5 時，報告會說明該研究無法決定一個有用的門檻，以及大約需要多少人。把每個決定都當作獨立的區間會窄得多（覆蓋網格測得它包含真實值的比例最低只有 39%，而宣告的是 95%）。缺失的決定在下界中按有輸出時判錯填補，在上界中按有輸出時判對填補，所以無論缺失的決定是什麼，區間都成立，報告還會顯示估計值在兩種填補之間的範圍。

此方法已於 2026年11月3日通過獨立稽核被接納，條件如上：各人獨自決定、隨機分組，以及在前後對照研究中先做不看輸出的決定。基於 accuracy_difference 的規則判定為 PASS、FAIL 或 INSUFFICIENT_EVIDENCE。它至少需要兩個在兩種條件下都做過決定的人；少於此數時，規則讀作 INSUFFICIENT_EVIDENCE。

依賴

每個比率都統計決定；它的分母說明統計的是哪些。

每個比率都使用 Oloproof 對所有比率採用的精確區間，缺失的決定按兩種方向填補。該區間假設決定相互獨立。當一個人或一個案例在某個比率的分母中出現不止一次（任何真實研究都是如此），該比率會被報告，基於它的規則讀作 MANUAL_REVIEW：重複出現的人會讓區間過窄，Oloproof 不會據此做決定。

決定所需時間是每種條件下秒數的中位數，附帶區間，只報告，從不用於關卡。

政策

confidence: 0.95
rules:
  - id: people-decide-better
    metric: accuracy_difference
    minimum: 0.0
  - id: few-follow-a-wrong-suggestion
    metric: over_reliance
    maximum: 0.5

每條規則指定一個指標和一個門檻。最小值規則在區間下界等於或高於門檻時通過，在上界低於門檻時失敗；最大值規則與之對稱。其他情況都是 INSUFFICIENT_EVIDENCE。

這無法告訴你的

• 它代表的是研究中的人所抽取自的人群，針對與研究中類似的案例。受過不同訓練的人，或因為喜歡該系統而被選中的人，是另一個人群。
• 前後對照研究衡量的是有輸出的第二次查看對比沒有輸出的第一次查看，而不是輸出本身。
• 知道自己正在被研究的人，可能比工作時更仔細地核查系統。
• 參考答案被視為正確。如果它們來自同一批人，或來自系統本身，研究衡量的是一致性，而不是準確率。
• 尚未支援從託管的審閱佇列讀取決定：請把它們匯出為上面的檔案。