Con người khi có và không có hệ thống

Một hệ thống AI tư vấn cho con người chỉ tốt nếu con người quyết định tốt hơn khi có nó. Một hệ thống đúng 90% số lần vẫn có thể khiến người dùng tệ hơn, nếu họ làm theo nó ở chỗ nó sai và thôi suy nghĩ ở chỗ trước đây họ vẫn suy nghĩ. oloproof human-ai report trả lời hai câu hỏi từ một tệp các quyết định của con người: con người có quyết định tốt hơn khi được xem đầu ra của hệ thống so với khi không, và họ dựa vào nó như thế nào?

Nghiên cứu

Đưa cùng các trường hợp cho nhiều người. Mỗi người quyết định một số trường hợp khi đầu ra của hệ thống được hiển thị và các trường hợp còn lại khi không có, cách chia được chọn ngẫu nhiên cho từng người, theo thứ tự ngẫu nhiên. Cách chia phải ngẫu nhiên, hoặc toàn bộ bộ trường hợp nằm trong mỗi điều kiện: một cách chia do người đó, do hệ thống hoặc theo độ khó chọn ra sẽ làm câu trả lời sai theo cách mà khoảng không bao phủ, và Oloproof không thể thấy điều đó trong tệp. Mỗi người quyết định một mình; một nhóm thảo luận các trường hợp được tính là một người. Mỗi trường hợp có một câu trả lời tham chiếu, được quyết định độc lập. Hai thiết kế được quyết định, và chúng trả lời những câu hỏi khác nhau. Chéo: mỗi người xem mỗi trường hợp một lần, trong một điều kiện, nên câu trả lời là điều đầu ra tác động lên một quyết định. Trước và sau: mỗi người quyết định một trường hợp một mình trước, rồi quyết định lại sau khi xem đầu ra, nên câu trả lời là lần nhìn thứ hai có đầu ra so với lần nhìn đầu không có nó, điều này trộn tác động của đầu ra với tác động của việc nhìn lại. Trong thiết kế đó, quyết định không có đầu ra phải đến trước; một tệp cho thấy điều ngược lại sẽ bị chỉ ra. Một tệp trong đó mỗi trường hợp được quyết định một lần trong mỗi điều kiện bởi hai người khác nhau được gọi là thưa, và được mô tả nhưng không bao giờ được quyết định.

Viết một dòng cho mỗi quyết định, dưới dạng CSV có tiêu đề hoặc JSONL:

Quyết định, tham chiếu và đầu ra được so sánh như văn bản sau khi cắt khoảng trắng hai đầu, vì vậy hãy viết mỗi nhãn theo một cách duy nhất. Sao chép ví dụ bằng oloproof init --example human-ai: ba mươi yêu cầu được tám người phân loại, lấy từ một bộ sinh có hạt giống.

oloproof human-ai check decisions.csv
oloproof human-ai report decisions.csv
oloproof human-ai gate decisions.csv --policy policy.yaml

check đọc tệp và cho biết nó có thể trả lời những gì. report đưa ra mọi thước đo và không quyết định gì. gate quyết định từng quy tắc của một chính sách và thoát với 0 khi PASS, 1 khi FAIL, 3 khi INSUFFICIENT_EVIDENCE và 4 khi MANUAL_REVIEW. Mỗi lệnh nhận --json. Tệp được đọc trên máy của bạn và không bao giờ được lưu hay gửi đi.

Có trừ không có

Câu trả lời chính là trung bình, theo người, của độ chính xác của mỗi người khi đầu ra được hiển thị trừ đi độ chính xác của chính họ khi không có. Mỗi người được tính một lần, dù họ quyết định bao nhiêu trường hợp, nên vài người làm phần lớn công việc không thể che giấu điều đầu ra tác động lên mọi người khác. Câu trả lời nói về những người sẽ dùng hệ thống, nếu những người trong nghiên cứu được rút ra từ họ, trên các trường hợp trong nghiên cứu, và trên các trường hợp khác chỉ trong chừng mực chúng giống các trường hợp đó.

Khoảng là khoảng mà Oloproof dùng cho mọi trung bình bị chặn, áp dụng cho mức lợi của từng người. Nó không giả định gì về cách mức lợi phân bố: nếu một người trong năm người đi theo hệ thống vào lỗi, khoảng vẫn tính đến điều đó. Mỗi phía đúng với độ tin cậy đã nêu ở mọi số người, nên một ngưỡng tối thiểu không bị vượt qua nhờ may mắn thường hơn mức nó nói. Cái giá là độ rộng: với sáu người, khoảng rộng khoảng 1,2 trên thang từ -1 đến 1, với mười người khoảng 0,8, và dưới khoảng bốn mươi người, một quy tắc hiếm khi quyết định trừ khi mức lợi lớn. Khi khoảng rộng hơn 0,5, báo cáo nói rằng nghiên cứu không thể quyết định một ngưỡng hữu ích và cần khoảng bao nhiêu người. Một khoảng coi mọi quyết định là độc lập sẽ hẹp quá mức (lưới độ phủ đo được nó phủ giá trị thật chỉ 39% số lần, so với 95% đã nêu). Một quyết định bị thiếu được điền là sai khi có đầu ra cho cận dưới và là đúng khi có đầu ra cho cận trên, nên khoảng vẫn đúng dù các quyết định bị thiếu là gì, và báo cáo hiển thị phạm vi của ước lượng qua cả hai cách điền.

Phương pháp đã được một cuộc kiểm toán độc lập chấp nhận vào ngày 3 tháng 11 năm 2026, theo các điều kiện ở trên: những người tự quyết định một mình, một cách chia ngẫu nhiên, và trong một nghiên cứu trước và sau, quyết định không có đầu ra trước. Một quy tắc trên accuracy_difference quyết định PASS, FAIL hoặc INSUFFICIENT_EVIDENCE. Nó cần ít nhất hai người đã quyết định trong cả hai điều kiện; ít hơn thế, một quy tắc đọc INSUFFICIENT_EVIDENCE.

Mức độ dựa vào hệ thống

Mỗi tỷ lệ đếm các quyết định; mẫu số của nó cho biết đếm những quyết định nào.

Mỗi tỷ lệ có khoảng chính xác mà Oloproof dùng cho mọi tỷ lệ, với các quyết định bị thiếu được điền theo cả hai cách. Khoảng đó giả định các quyết định độc lập. Khi một người hoặc một trường hợp xuất hiện nhiều hơn một lần trong mẫu số của một tỷ lệ, như trong mọi nghiên cứu thực tế, tỷ lệ được báo cáo và một quy tắc trên nó đọc MANUAL_REVIEW: người lặp lại làm khoảng quá hẹp, và Oloproof sẽ không quyết định dựa trên nó.

Thời gian đến quyết định là trung vị số giây theo từng điều kiện, kèm khoảng của nó, được báo cáo và không bao giờ dùng để chặn.

Một chính sách

confidence: 0.95
rules:
  - id: people-decide-better
    metric: accuracy_difference
    minimum: 0.0
  - id: few-follow-a-wrong-suggestion
    metric: over_reliance
    maximum: 0.5

Mỗi quy tắc nêu một chỉ số và một ngưỡng. Một ngưỡng tối thiểu đạt khi cận dưới của khoảng bằng hoặc cao hơn nó và trượt khi cận trên thấp hơn nó; ngưỡng tối đa là đối xứng. Mọi trường hợp khác là INSUFFICIENT_EVIDENCE.

Điều này không thể cho bạn biết

• Nó nói thay cho những người mà người trong nghiên cứu được rút ra từ đó, trên những trường hợp giống như trong nghiên cứu. Những người được đào tạo khác, hoặc được chọn vì họ thích hệ thống, là một tổng thể khác.
• Một nghiên cứu trước và sau đo lần nhìn thứ hai có đầu ra so với lần nhìn đầu không có nó, không phải riêng đầu ra.
• Những người biết mình đang được nghiên cứu có thể kiểm tra hệ thống cẩn thận hơn khi làm việc thực tế.
• Các câu trả lời tham chiếu được coi là đúng. Nếu chúng đến từ chính những người đó, hoặc từ hệ thống, nghiên cứu đo sự đồng thuận, không phải độ chính xác.
• Việc đọc quyết định từ hàng đợi xem xét được lưu trữ chưa được xây dựng: hãy xuất chúng ra tệp ở trên.