시스템이 있을 때와 없을 때의 사람

사람에게 조언하는 AI 시스템은 사람이 그것과 함께 더 잘 결정할 때만 좋은 시스템입니다. 90%의 경우에 맞는 시스템도, 사람들이 틀린 곳에서 그것을 따르고 예전에는 생각하던 곳에서 생각을 멈춘다면 사용자를 더 나쁘게 만들 수 있습니다. oloproof human-ai report는 사람들의 결정이 담긴 파일로 두 질문에 답합니다. 시스템의 출력을 보여 주었을 때 사람들이 보여 주지 않았을 때보다 더 잘 결정하는가, 그리고 사람들은 그것에 어떻게 의존하는가?

연구

같은 사례를 여러 사람에게 줍니다. 각 사람은 일부 사례는 시스템의 출력을 보고, 나머지는 보지 않고 결정합니다. 나누는 방식은 사람마다 무작위로 정하고 순서도 무작위로 합니다. 나누는 방식은 무작위여야 하며, 아니면 각 조건에서 스위트 전체를 써야 합니다. 본인이나 시스템이 고르거나 난이도에 따라 고른 나눔은 구간이 반영하지 못하는 방식으로 답을 틀리게 만들며, Oloproof는 파일에서 이를 볼 수 없습니다. 각 사람은 혼자 결정합니다. 사례를 함께 논의하는 팀은 한 사람으로 셉니다. 모든 사례에는 독립적으로 정한 기준 답이 있습니다. 두 가지 설계가 결정되며, 서로 다른 질문에 답합니다. 교차 설계에서는 각 사람이 각 사례를 한 번, 한 조건에서만 보므로, 답은 출력이 결정에 미치는 영향입니다. 전후 설계에서는 각 사람이 먼저 혼자 사례를 결정하고 출력을 본 뒤 다시 결정하므로, 답은 출력 없는 첫 번째 판단에 대한 출력 있는 두 번째 판단이며, 출력의 효과와 다시 보는 효과가 섞입니다. 이 설계에서는 출력 없는 결정이 먼저여야 하며, 그렇지 않은 파일은 지적됩니다. 각 사례가 서로 다른 두 사람에 의해 각 조건에서 한 번씩 결정된 파일은 희소하다고 불리며, 설명은 되지만 결정되지는 않습니다.

결정마다 한 행을, 헤더가 있는 CSV 또는 JSONL로 씁니다.

결정, 기준, 출력은 앞뒤 공백을 제거한 뒤 텍스트로 비교되므로 각 레이블은 한 가지 방식으로만 쓰세요. oloproof init --example human-ai로 예제를 복사할 수 있습니다. 여덟 명이 분류한 서른 건의 신고로, 시드가 고정된 생성기에서 만들었습니다.

oloproof human-ai check decisions.csv
oloproof human-ai report decisions.csv
oloproof human-ai gate decisions.csv --policy policy.yaml

check는 파일을 읽고 무엇에 답할 수 있는지 알려 줍니다. report는 모든 측정값을 보여 주고 아무것도 결정하지 않습니다. gate는 정책의 각 규칙을 결정하고 PASS이면 0, FAIL이면 1, INSUFFICIENT_EVIDENCE이면 3, MANUAL_REVIEW이면 4로 종료합니다. 모두 --json을 받습니다. 파일은 여러분의 컴퓨터에서 읽히며 저장되거나 전송되지 않습니다.

있을 때에서 없을 때를 빼기

주된 답은 각 사람이 출력을 보았을 때의 정확도에서 그 사람 자신의 출력 없는 정확도를 뺀 값을 사람들에 대해 평균한 것입니다. 각 사람은 결정한 사례 수와 관계없이 한 번만 계산되므로, 작업의 대부분을 하는 소수의 사람이 출력이 다른 모든 사람에게 미치는 영향을 가릴 수 없습니다. 연구 참여자가 시스템을 사용할 사람들 중에서 뽑혔다면, 답은 그 사람들에 대한 것이며 연구의 사례에 대한 것이고, 다른 사례에는 그 사례와 비슷한 만큼만 해당합니다.

구간은 Oloproof가 모든 유계 평균에 쓰는 구간을 사람들의 이득에 적용한 것입니다. 이득이 어떻게 분포하는지에 대해 아무것도 가정하지 않습니다. 다섯 명 중 한 명이 시스템을 따라 오류를 범한다면 구간은 이를 반영합니다. 각 쪽은 사람 수와 관계없이 명시된 신뢰도로 옳으므로, 최소 기준이 명시된 것보다 더 자주 운으로 통과되지 않습니다. 대가는 폭입니다. 여섯 명이면 구간의 폭은 -1에서 1까지의 척도에서 약 1.2이고, 열 명이면 약 0.8이며, 약 마흔 명 미만이면 이득이 크지 않는 한 규칙은 거의 결정하지 못합니다. 구간의 폭이 0.5보다 넓으면 보고서는 연구가 유용한 기준을 결정할 수 없다는 것과 대략 몇 명이 필요한지를 알려 줍니다. 모든 결정을 독립으로 취급하는 구간은 너무 좁아집니다(커버리지 그리드에서는 명시된 95%에 비해 참값을 포함하는 비율이 39%까지 낮아지는 것이 측정되었습니다). 누락된 결정은 하한에서는 출력이 있을 때 틀린 것으로, 상한에서는 맞은 것으로 채워지므로, 누락된 결정이 무엇이었든 구간은 유효하며, 보고서는 두 가지 채우기에 걸친 추정값의 범위를 보여 줍니다.

이 방법은 2026년 11월 3일 독립 감사에서 위의 조건으로 승인되었습니다. 각자 혼자 결정하는 사람들, 무작위 배정, 그리고 전후 비교 연구에서는 출력 없이 내린 결정을 먼저 하는 것입니다. accuracy_difference에 대한 규칙은 PASS, FAIL 또는 INSUFFICIENT_EVIDENCE로 결정합니다. 두 조건 모두에서 결정한 사람이 최소 두 명 필요하며, 그보다 적으면 규칙은 INSUFFICIENT_EVIDENCE가 됩니다.

의존

모든 비율은 결정을 셉니다. 분모가 어떤 결정인지 알려 줍니다.

각 비율에는 Oloproof가 모든 비율에 쓰는 정확한 구간이 있으며, 누락된 결정은 양쪽 방향으로 채워집니다. 그 구간은 결정이 독립이라고 가정합니다. 실제 연구에서는 늘 그렇듯 한 사람이나 한 사례가 비율의 분모에 두 번 이상 나타나면, 비율은 보고되고 그에 대한 규칙은 MANUAL_REVIEW가 됩니다. 반복된 사람은 구간을 너무 좁게 만들기 때문에 Oloproof는 그것으로 결정하지 않습니다.

결정까지의 시간은 조건별 초의 중앙값이며, 구간과 함께 보고되고 게이트에는 쓰이지 않습니다.

정책

confidence: 0.95
rules:
  - id: people-decide-better
    metric: accuracy_difference
    minimum: 0.0
  - id: few-follow-a-wrong-suggestion
    metric: over_reliance
    maximum: 0.5

각 규칙은 하나의 지표와 하나의 기준을 지정합니다. 최소값은 구간의 하한이 그 값 이상이면 통과하고 상한이 그 값보다 낮으면 실패합니다. 최대값은 그 반대입니다. 그 밖의 경우는 모두 INSUFFICIENT_EVIDENCE입니다.

이것이 알려 줄 수 없는 것

• 연구 참여자가 뽑힌 집단의 사람들에 대해, 연구의 사례와 같은 사례에서 말합니다. 다르게 훈련받은 사람들이나 시스템을 좋아해서 선택된 사람들은 다른 집단입니다.
• 전후 연구는 출력 없는 첫 번째 판단에 대한 출력 있는 두 번째 판단을 측정하며, 출력만의 효과를 측정하지 않습니다.
• 연구 대상임을 아는 사람들은 업무 중보다 더 주의 깊게 시스템을 확인할 수 있습니다.
• 기준 답은 옳은 것으로 간주됩니다. 그것이 같은 사람들이나 시스템에서 나왔다면 연구는 정확도가 아니라 일치를 측정합니다.
• 호스팅된 검토 대기열에서 결정을 읽어 오는 기능은 구현되지 않았습니다. 위의 파일로 내보내세요.