システムありとなしの人間

人に助言する AI システムが良いと言えるのは、人がそれを使ってより良く判断できる場合だけです。90% の確率で正しいシステムでも、誤っている場面で人がそれに従い、以前は自分で考えていた場面で考えるのをやめてしまえば、利用者を悪くすることがあります。oloproof human-ai report は人の判断を記録したファイルから二つの問いに答えます。システムの出力を見せたときのほうが見せないときより人は良く判断するか、そして人はそれにどう依存しているか、です。

調査

同じケースを複数の人に渡します。各人は一部のケースをシステムの出力を見ながら判断し、残りを出力なしで判断します。どちらにするかは人ごとに無作為に選び、順序も無作為にします。分け方は無作為にするか、各条件でスイート全体を使う必要があります。本人、システム、または難しさによって選んだ分け方では、区間が織り込まない形で答えが誤り、Oloproof はそれをファイルから見ることができません。各人は一人で判断します。ケースを話し合うチームは一人と数えます。どのケースにも独立に決めた参照解答があります。判定される設計は二つあり、それぞれ異なる問いに答えます。交差型では各人が各ケースを一度だけ、一方の条件で見るので、答えは出力が判断に与える影響です。前後型では各人がまず一人でケースを判断し、出力を見たあとにもう一度判断するので、答えは出力なしの一度目の判断に対する出力ありの二度目の判断であり、出力の効果と見直しの効果が混ざります。この設計では出力なしの判断が先でなければならず、そうでないファイルは指摘されます。各ケースが二人の異なる人によって各条件で一度ずつ判断されたファイルは疎と呼ばれ、記述はされますが判定はされません。

判断ごとに一行を、ヘッダー付きの CSV または JSONL で書きます。

判断、参照、出力は前後の空白を除いたテキストとして比較されるので、各ラベルは一通りの書き方で書いてください。oloproof init --example human-ai で例をコピーできます。8 人が仕分けた 30 件の申し立てで、シード固定の生成器から作られています。

oloproof human-ai check decisions.csv
oloproof human-ai report decisions.csv
oloproof human-ai gate decisions.csv --policy policy.yaml

check はファイルを読み、何に答えられるかを示します。report はすべての指標を示し、何も判定しません。gate はポリシーの各ルールを判定し、PASS で 0、FAIL で 1、INSUFFICIENT_EVIDENCE で 3、MANUAL_REVIEW で 4 を返して終了します。いずれも --json を受け付けます。ファイルはお使いのマシン上で読まれ、保存も送信もされません。

ありからなしを引く

主な答えは、出力を見せたときの各人の正解率から、その人自身の出力なしの正解率を引いた値を、人について平均したものです。各人は判断したケースの数にかかわらず一度だけ数えられるので、作業の大半を担う少数の人が、出力が他の全員に与える影響を隠すことはできません。調査の参加者がシステムを使う人々から選ばれていれば、答えはその人々について、調査のケースでのものであり、ほかのケースについてはそれらに似ている限りでのものです。

区間は、Oloproof があらゆる有界な平均に使うものを、人々の利得に適用したものです。利得の分布について何も仮定しません。五人に一人がシステムに従って誤るなら、区間はそれを織り込みます。どちらの側も、人数がいくつであっても表示した信頼度で正しいので、最小の基準が表示より頻繁に偶然で通ることはありません。代償は幅です。六人では区間の幅は -1 から 1 の尺度で約 1.2 になり、十人では約 0.8 になり、およそ四十人未満では利得が大きくない限りルールはめったに判定しません。区間の幅が 0.5 を超えると、レポートは調査が役に立つ基準を判定できないこと、そしておよそ何人必要かを示します。すべての判断を独立とみなす区間は狭すぎます(カバレッジグリッドでは、表示した95%に対し、真の値を含むのが39%にまで下がることが測定されました)。欠けた判断は、下限では出力ありで誤り、上限では出力ありで正解として埋められるので、欠けた判断が何であっても区間は成り立ち、レポートは両方の埋め方での推定値の範囲を示します。

この手法は 2026年11月3日に独立した監査で承認されました。条件は上記のとおりです。各人が単独で判断すること、無作為に分けること、そして前後比較の調査では出力なしの判断を先に行うことです。accuracy_difference に対するルールは PASS、FAIL、INSUFFICIENT_EVIDENCE のいずれかを判定します。両方の条件で判断した人が少なくとも 2 人必要で、それより少ないとルールは INSUFFICIENT_EVIDENCE になります。

依存

どの率も判断を数えます。その分母がどの判断かを示します。

各率には Oloproof がすべての率に使う正確な区間があり、欠けた判断は両方向に埋められます。この区間は判断が独立であることを前提とします。実際の調査ではいつもそうであるように、ある人やケースが率の分母に二回以上現れる場合、率は報告され、それに対するルールは MANUAL_REVIEW になります。同じ人の繰り返しは区間を狭くしすぎるため、Oloproof はそれで判定しません。

判断までの時間は条件ごとの秒数の中央値で、区間とともに報告され、ゲートには使われません。

ポリシー

confidence: 0.95
rules:
  - id: people-decide-better
    metric: accuracy_difference
    minimum: 0.0
  - id: few-follow-a-wrong-suggestion
    metric: over_reliance
    maximum: 0.5

各ルールは一つの指標と一つの基準を指定します。最小値は、区間の下限がそれ以上なら合格し、上限がそれを下回れば不合格になります。最大値はその逆です。それ以外はすべて INSUFFICIENT_EVIDENCE です。

これでは分からないこと

• 調査の参加者が選ばれた母集団の人々について、調査のようなケースで語ります。異なる訓練を受けた人や、システムを気に入っているために選ばれた人は、別の母集団です。
• 前後型の調査が測るのは、出力なしの一度目の判断に対する出力ありの二度目の判断であり、出力だけの効果ではありません。
• 調査されていると知っている人は、仕事中よりも注意深くシステムを確認するかもしれません。
• 参照解答は正しいものとして扱われます。それが同じ人やシステムから来ている場合、調査が測るのは正解率ではなく一致です。
• ホスト型レビューキューからの判断の読み込みは実装されていません。上記のファイルに書き出してください。