Sistemle ve sistemsiz insanlar

İnsanlara öneride bulunan bir yapay zekâ sistemi, ancak insanlar onunla daha iyi karar veriyorsa iyidir. Zamanın %90'ında haklı olan bir sistem bile, kullanıcılar onu yanıldığı yerde izler ve eskiden düşündükleri yerde düşünmeyi bırakırlarsa kullanıcılarını daha kötü yapabilir. oloproof human-ai report, insanların kararlarını içeren bir dosyadan iki soruyu yanıtlar: insanlar sistemin çıktısı gösterildiğinde gösterilmediğinden daha iyi mi karar veriyor ve ona nasıl güveniyorlar?

Çalışma

Aynı vakaları birkaç kişiye verin. Her kişi bazı vakalara sistemin çıktısı gösterilerek, diğerlerine çıktı gösterilmeden karar verir; bölünme her kişi için rastgele seçilir ve sıra rastgeledir. Bölünme rastgele olmalı ya da her koşulda paketin tamamı bulunmalıdır: kişinin, sistemin ya da zorluğun seçtiği bir bölünme yanıtı aralığın kapsamadığı bir biçimde yanlış yapar ve Oloproof bunu dosyada göremez. Her kişi tek başına karar verir; vakaları tartışan bir ekip tek kişi sayılır. Her vakanın bağımsız olarak belirlenmiş bir referans yanıtı vardır. İki tasarım karara bağlanır ve farklı sorulara yanıt verirler. Çapraz: her kişi her vakayı bir kez, tek bir koşulda görür, dolayısıyla yanıt çıktının bir karara ne yaptığıdır. Önce ve sonra: her kişi bir vakaya önce tek başına, sonra çıktıyı gördükten sonra yeniden karar verir, dolayısıyla yanıt çıktıyla yapılan ikinci bakışın çıktısız ilk bakışa karşı farkıdır; bu, çıktının etkisini yeniden bakmanın etkisiyle karıştırır. Bu tasarımda çıktısız karar önce gelmelidir; aksini gösteren bir dosya belirtilir. Her vakanın her koşulda iki farklı kişi tarafından birer kez karara bağlandığı bir dosya seyrek olarak adlandırılır; betimlenir ama asla karara bağlanmaz.

Her karar için bir satır yazın, başlıklı CSV ya da JSONL olarak:

Kararlar, referanslar ve çıktılar baştaki ve sondaki boşluklar kırpıldıktan sonra metin olarak karşılaştırılır; bu yüzden her etiketi tek bir biçimde yazın. Örneği oloproof init --example human-ai ile kopyalayın: sekiz kişinin ön değerlendirmesinden geçen otuz talep, tohumlu bir üreteçten alınmış.

oloproof human-ai check decisions.csv
oloproof human-ai report decisions.csv
oloproof human-ai gate decisions.csv --policy policy.yaml

check dosyayı okur ve neyi yanıtlayabileceğini söyler. report her ölçüyü verir ve hiçbir şeye karar vermez. gate bir politikanın her kuralına karar verir ve PASS için 0, FAIL için 1, INSUFFICIENT_EVIDENCE için 3 ve MANUAL_REVIEW için 4 ile çıkar. Her biri --json alır. Dosya sizin makinenizde okunur, asla saklanmaz ya da gönderilmez.

Sistemli eksi sistemsiz

Ana yanıt, kişiler üzerinden alınan ortalamadır: her kişinin çıktı gösterildiğindeki doğruluğu eksi kendi çıktısız doğruluğu. Kaç vakaya karar vermiş olursa olsun her kişi bir kez sayılır; böylece işin çoğunu yapan birkaç kişi çıktının diğer herkese ne yaptığını gizleyemez. Yanıt, çalışmadaki kişiler onlardan seçildiyse, sistemi kullanacak kişiler hakkındadır ve çalışmadaki vakalar için, diğer vakalar içinse yalnızca onlara benzedikleri ölçüde geçerlidir.

Aralık, Oloproof'un her sınırlı ortalama için kullandığı aralıktır ve kişilerin kazançlarına uygulanır. Kazançların nasıl dağıldığına dair hiçbir varsayım yapmaz: beş kişiden biri sistemi hatalara kadar izliyorsa aralık bunu hesaba katar. Her taraf, her kişi sayısında belirtilen güvenle doğrudur; dolayısıyla bir alt eşik, söylediğinden daha sık şans eseri geçilmez. Bedeli genişliktir: altı kişiyle aralık -1 ile 1 arasındaki bir ölçekte yaklaşık 1,2 genişliğindedir, on kişiyle yaklaşık 0,8'dir ve yaklaşık kırk kişinin altında, kazanç büyük olmadıkça bir kural nadiren karar verir. Aralık 0,5'ten genişse rapor, çalışmanın yararlı bir eşiğe karar veremeyeceğini ve kabaca kaç kişiye ihtiyaç duyacağını söyler. Her kararı bağımsız sayan bir aralık çok dar olurdu (kapsama ızgarası onun gerçek değeri belirtilen %95'e karşı %39 kadar az kapsadığını ölçtü). Eksik bir karar, alt sınır için çıktıyla yanlış, üst sınır için çıktıyla doğru olarak doldurulur; böylece aralık eksik kararlar ne olursa olsun geçerlidir ve rapor tahminin iki doldurma arasındaki aralığını gösterir.

Yöntem, 3 Kasım 2026'da bağımsız bir denetimle yukarıdaki koşullarla kabul edildi: tek başına karar veren kişiler, rastgele bir bölme ve önce-sonra çalışmasında önce çıktı olmadan verilen karar. accuracy_difference üzerindeki bir kural PASS, FAIL ya da INSUFFICIENT_EVIDENCE kararı verir. Her iki koşulda da karar vermiş en az iki kişi gerektirir; daha azıyla bir kural INSUFFICIENT_EVIDENCE okur.

Güven

Her oran kararları sayar; paydası hangilerini saydığını söyler.

Her oranın, Oloproof'un her oran için kullandığı kesin aralığı vardır; eksik kararlar her iki yönde doldurulur. Bu aralık bağımsız kararlar varsayar. Bir kişi ya da vaka, her gerçek çalışmada olduğu gibi, bir oranın paydasında birden çok kez yer aldığında oran raporlanır ve ona dayanan bir kural MANUAL_REVIEW okur: tekrarlanan kişiler aralığı çok daraltır ve Oloproof ona dayanarak karar vermez.

Karara kadar geçen süre, koşul başına saniyelerin medyanıdır; aralığıyla birlikte raporlanır ve asla geçit için kullanılmaz.

Bir politika

confidence: 0.95
rules:
  - id: people-decide-better
    metric: accuracy_difference
    minimum: 0.0
  - id: few-follow-a-wrong-suggestion
    metric: over_reliance
    maximum: 0.5

Her kural bir metrik ve bir eşik adlandırır. Bir minimum, aralığın alt sınırı eşiğe eşit ya da üstünde olduğunda geçer, üst sınır altında olduğunda başarısız olur; maksimum bunun aynasıdır. Diğer her şey INSUFFICIENT_EVIDENCE olur.

Bunun size söyleyemeyecekleri

• Çalışmadaki kişilerin seçildiği insanlar adına, çalışmadakilere benzer vakalar için konuşur. Farklı eğitilmiş ya da sistemi sevdikleri için seçilmiş insanlar başka bir topluluktur.
• Önce ve sonra çalışması, çıktının tek başına etkisini değil, çıktıyla yapılan ikinci bakışı çıktısız ilk bakışa karşı ölçer.
• İncelendiklerini bilen insanlar sistemi işte olduğundan daha dikkatli denetleyebilir.
• Referans yanıtlar doğru kabul edilir. Aynı insanlardan ya da sistemden geliyorlarsa çalışma doğruluğu değil uyumu ölçer.
• Barındırılan inceleme kuyruğundan kararları okumak henüz yapılmadı: onları yukarıdaki dosyaya dışa aktarın.