Orang dengan dan tanpa sistem

Sistem AI yang memberi saran kepada orang hanya baik jika orang-orang itu memutuskan lebih baik dengannya. Sistem yang benar 90% dari waktu tetap bisa membuat penggunanya lebih buruk, jika mereka mengikutinya saat ia salah dan berhenti berpikir di tempat yang dulu mereka pikirkan. oloproof human-ai report menjawab dua pertanyaan dari sebuah file berisi keputusan orang: apakah orang memutuskan lebih baik ketika keluaran sistem ditampilkan daripada tanpanya, dan bagaimana mereka mengandalkannya?

Studinya

Berikan kasus yang sama kepada beberapa orang. Setiap orang memutuskan sebagian kasus dengan keluaran sistem ditampilkan dan sisanya tanpa keluaran, pembagiannya dipilih acak per orang, dalam urutan acak. Pembagiannya harus acak, atau seluruh suite ada di setiap kondisi: pembagian yang dipilih oleh orang itu, oleh sistem, atau menurut tingkat kesulitan membuat jawabannya salah dengan cara yang tidak dicakup interval, dan Oloproof tidak dapat melihatnya di file. Setiap orang memutuskan sendiri; tim yang mendiskusikan kasus dihitung sebagai satu orang. Setiap kasus memiliki jawaban referensi, yang diputuskan secara independen. Dua desain diputuskan, dan keduanya menjawab pertanyaan yang berbeda. Bersilang: setiap orang melihat setiap kasus sekali, dalam satu kondisi, sehingga jawabannya adalah apa yang dilakukan keluaran terhadap sebuah keputusan. Sebelum dan sesudah: setiap orang memutuskan sebuah kasus sendiri terlebih dahulu lalu sekali lagi setelah melihat keluarannya, sehingga jawabannya adalah pandangan kedua dengan keluaran dibandingkan pandangan pertama tanpanya, yang mencampur efek keluaran dengan efek melihat kembali. Pada desain itu, keputusan tanpa keluaran harus datang lebih dulu; file yang menunjukkan sebaliknya akan disebutkan. File di mana setiap kasus diputuskan sekali dalam setiap kondisi oleh dua orang berbeda disebut jarang, dan dideskripsikan tetapi tidak pernah diputuskan.

Tulis satu baris per keputusan, sebagai CSV dengan header atau sebagai JSONL:

Keputusan, referensi, dan keluaran dibandingkan sebagai teks setelah spasi di tepinya dipangkas, jadi tulis setiap label dengan satu cara. Salin contohnya dengan oloproof init --example human-ai: tiga puluh klaim yang dipilah oleh delapan orang, diambil dari generator berbenih.

oloproof human-ai check decisions.csv
oloproof human-ai report decisions.csv
oloproof human-ai gate decisions.csv --policy policy.yaml

check membaca file dan mengatakan apa yang dapat dijawabnya. report memberikan setiap ukuran dan tidak memutuskan apa pun. gate memutuskan setiap aturan dari sebuah kebijakan dan keluar dengan 0 pada PASS, 1 pada FAIL, 3 pada INSUFFICIENT_EVIDENCE, dan 4 pada MANUAL_REVIEW. Masing-masing menerima --json. File dibaca di mesin Anda dan tidak pernah disimpan atau dikirim.

Dengan dikurangi tanpa

Jawaban utamanya adalah rata-rata, atas orang-orang, dari akurasi setiap orang dengan keluaran ditampilkan dikurangi akurasinya sendiri tanpa keluaran. Setiap orang dihitung sekali, berapa pun kasus yang diputuskannya, sehingga segelintir orang yang mengerjakan sebagian besar pekerjaan tidak dapat menyembunyikan apa yang dilakukan keluaran terhadap semua orang lainnya. Jawabannya berlaku bagi orang-orang yang akan memakai sistem, jika orang-orang dalam studi ditarik dari mereka, pada kasus dalam studi, dan pada kasus lain hanya sejauh kasus itu mirip dengannya.

Intervalnya adalah yang digunakan Oloproof untuk setiap rata-rata terbatas, diterapkan pada perolehan orang-orang. Interval ini tidak berasumsi apa pun tentang sebaran perolehan: jika satu dari lima orang mengikuti sistem ke dalam kesalahan, interval memperhitungkannya. Setiap sisi benar dengan tingkat kepercayaan yang dinyatakan pada berapa pun jumlah orang, sehingga ambang minimum tidak terlewati karena kebetulan lebih sering daripada yang dinyatakan. Harganya adalah lebar: dengan enam orang, lebar interval sekitar 1,2 pada skala -1 hingga 1, dengan sepuluh orang sekitar 0,8, dan di bawah sekitar empat puluh orang sebuah aturan jarang memutuskan kecuali perolehannya besar. Jika interval lebih lebar dari 0,5, laporan mengatakan bahwa studi tidak dapat memutuskan ambang yang berguna dan kira-kira berapa orang yang dibutuhkannya. Interval yang memperlakukan setiap keputusan sebagai independen akan jauh terlalu sempit (kisi cakupan mengukurnya hanya mencakup nilai sebenarnya 39% dari waktu, dibanding 95% yang dinyatakan). Keputusan yang hilang diisi sebagai salah dengan keluaran untuk batas bawah dan sebagai benar dengan keluaran untuk batas atas, sehingga interval tetap berlaku apa pun keputusan yang hilang itu, dan laporan menampilkan rentang estimasi atas kedua pengisian.

Metode ini diterima oleh audit independen pada 3 November 2026, dengan ketentuan di atas: orang yang memutuskan sendiri, pembagian acak, dan dalam studi sebelum dan sesudah, keputusan tanpa keluaran lebih dulu. Aturan pada accuracy_difference memutuskan PASS, FAIL, atau INSUFFICIENT_EVIDENCE. Metode ini membutuhkan setidaknya dua orang yang memutuskan dalam kedua kondisi; dengan lebih sedikit, aturan menghasilkan INSUFFICIENT_EVIDENCE.

Ketergantungan

Setiap rasio menghitung keputusan; penyebutnya mengatakan keputusan yang mana.

Setiap rasio memiliki interval eksak yang digunakan Oloproof untuk setiap rasio, dengan keputusan yang hilang diisi ke dua arah. Interval itu mengasumsikan keputusan yang independen. Ketika seseorang atau sebuah kasus muncul lebih dari sekali dalam penyebut sebuah rasio, seperti dalam setiap studi nyata, rasio dilaporkan dan aturan padanya menghasilkan MANUAL_REVIEW: orang yang berulang membuat interval terlalu sempit, dan Oloproof tidak akan memutuskan berdasarkan itu.

Waktu hingga keputusan adalah median jumlah detik per kondisi, beserta intervalnya, dilaporkan dan tidak pernah dijadikan gerbang.

Sebuah kebijakan

confidence: 0.95
rules:
  - id: people-decide-better
    metric: accuracy_difference
    minimum: 0.0
  - id: few-follow-a-wrong-suggestion
    metric: over_reliance
    maximum: 0.5

Setiap aturan menyebut satu metrik dan satu ambang. Minimum lolos ketika batas bawah interval berada pada atau di atasnya dan gagal ketika batas atas berada di bawahnya; maksimum adalah cerminannya. Selain itu adalah INSUFFICIENT_EVIDENCE.

Yang tidak dapat diberitahukan oleh ini

• Ini berlaku bagi orang-orang yang menjadi asal penarikan orang-orang dalam studi, pada kasus seperti kasus dalam studi. Orang yang dilatih secara berbeda, atau dipilih karena menyukai sistem, adalah populasi lain.
• Studi sebelum dan sesudah mengukur pandangan kedua dengan keluaran dibandingkan pandangan pertama tanpanya, bukan keluaran itu sendiri.
• Orang yang tahu mereka sedang diteliti mungkin memeriksa sistem lebih cermat daripada saat bekerja.
• Jawaban referensi dianggap benar. Jika berasal dari orang yang sama, atau dari sistem, studi mengukur kesepakatan, bukan akurasi.
• Membaca keputusan dari antrean tinjauan yang di-hosting belum dibangun: ekspor ke file di atas.