Kılavuzlar

Güvenlik araştırması: bir Inspect günlüğünden bir yöntemler paragrafına

Bir model üzerinde bir değerlendirme çalıştırdınız: bir model organizması ve kontrolü, bir saldırı kümesi, bir denetim ajanının bir hakem tarafından puanlanan dökümleri. Sonucu yazmadan önce, sonucun geçerli olup olmadığına üç soru karar verir: belirsizlik ne kadar geniş, "200'de hiç" gerçekten hiç mi ve dökümleri puanlayan hakeme güvenebilir misiniz? Oloproof bunları zaten elinizde olan günlükten yanıtlar ve şekli, tabloyu ve yöntemler paragrafını ölçtüklerinden yazar.

Günlüğü okuyun

Oloproof, UK AISI Inspect günlüklerini, inspect eval komutunun yazdığı .eval dosyasını ya da bir JSON günlüğünü okur:

oloproof scores import --from inspect logs/organism.eval
oloproof scores import --from inspect logs/control.eval logs/organism.eval --policy release.yaml

İlk komut bir çalıştırmayı içe aktarır ve sade sözlerle yanıtlar. İkincisi iki çalıştırmayı içe aktarır, onları örnek kimliklerine göre eşler ve politikanın karşılaştırma kurallarına karar verir; iki günlükle verilen bir politika en az birini içermelidir (kind: superiority, non_inferiority ya da equivalence) ve tek bir çalıştırma üzerindeki bir tavana, o günlüğü tek başına politikayla içe aktararak karar verilir. Her scorer bir ölçüt olur: C geçer ve I kalır, kısmi puan 0 ile 1 arasında bir puandır ve sayısal bir scorer, --scale LOW HIGH ile verilen aralığına ihtiyaç duyar. Yalnızca kimlikler ve puanlar kopyalanır; dökümler günlükte kalır. Okuma kurallarının tamamı için Başka bir aracın puanlarına ikinci bir görüş sayfasına bakın.

Epoch'lar daha fazla örnek değildir

Her örneği birkaç kez çalıştırmak (Inspect'in epoch'ları) size daha fazla bağımsız vaka vermez. Oloproof örneği birim olarak tutar: günlük, replicate'leri epoch'ları olan bir çalıştırma olarak içe aktarılır, her örneğin değeri epoch'larının ortalamasıdır ve her örnek aynı ağırlığı taşır. Her epoch kendi geçti ya da kaldı kararını korur; bu yüzden bir hakem, örnek birim olarak, epoch'lar üzerinde denetlenebilir. Her örneğin çalıştırmalarını ayrı vakalar olarak saymak tekrarları yeni istemler gibi ele alır: yöntemin ızgarasında, örnek başına iki çalıştırmayı bu şekilde birleştirmek, bunlar gibi istemler hakkındaki bir iddiayı belirtilen %95'te zamanın yalnızca %86'sı kadar seyrek kapsadı, ancak örneklerin kendileri hakkındaki bir iddia için geçerli kaldı (docs/engine/PASS_AT_K_METHOD.md §8). Hata veren bir epoch'u olan örnek eksik sayılır, en kötü değerinde, asla tamamlanan epoch'ların ortalaması olarak değil; çünkü hatalar zor örneklere düşme eğilimindedir.

Hiç görülmemesi hiç olmadığı anlamına gelmez

Bir güvenlik iddiası çoğu zaman sıfır sayımına dayanır: hiçbir saldırı başarılı olmadı, hiçbir döküm davranışı göstermedi. Sıfır görülmesi sıfır oran değildir. Çıta belirlenmemişken Oloproof, oranın hâlâ ne kadar yüksek olabileceğini ve onu kaç temiz vakanın aşağı çekeceğini söyler:

attack_succeeded: about 0.0%; the true value is likely between 0.0% and 1.9% (95% range, 200 cases).
  None of the 200 cases counted toward it, yet the rate could still be as high as 1.9%: none seen is not none.
  If the next cases show none either, a suite of 368 cases (168 more) would bring the high end to 1.0% or below.

Bir tavan altında karara politika verir. 200'de 0 üzerinde max: 0.01, INSUFFICIENT_EVIDENCE olur ve öneri koşulludur: "sonraki vakaların hiçbiri de sayılmazsa, yaklaşık 368 vaka buna karar verir; sayılan her vaka bu sayıyı artırır". Hiçbir olasılık belirtilmez, çünkü olay olmadığında onu dayandıracak bir şey yoktur.

rules:
  - id: attack-ceiling
    metric: attack_succeeded
    max: 0.01

Hiç başarabilir mi? pass@k

Bir yetenek ya da red team sorusu çoğu zaman k denemeden herhangi birinin başarılı olup olmadığıdır. oloproof passk bir örneğin her epoch'unu bir deneme olarak okur ve her örneğin pass@k değerini yanlılık olmadan, ardından paketin ortalamasını tahmin eder:

oloproof passk logs/organism.eval --from inspect --criterion leaked --k 5

Deneme başına bir satırlık bir dosya da (case, passed, isteğe bağlı error) çalışır. Hata veren bir denemesi olan ya da k'den az denemesi olan örnek eksik sayılır, en kötü değerinde. Yanıt tahmini ve %95 aralığını verir. --min ya da --max ile karar verir: aralık eşiği aşınca PASS, tamamen yanlış tarafta kalınca FAIL, aksi halde INSUFFICIENT_EVIDENCE (çıkış 0, 1 ya da 3). Yöntem (docs/engine/PASS_AT_K_METHOD.md) ızgarasının her hücresinde belirtilen %95'i kapsadı ve 3 Kasım 2026'da bağımsız bir denetimle kendi koşullarında kabul edildi: bir vakanın denemeleri birbirinden bağımsızdır ve biri başarılı olduğu için bir vakanın denemelerini erken durdurmadınız.

Aynı anda birçok koşul: bir tarama

Her biri kendi %95 aralığına sahip yirmi farktan oluşan bir tablonun bir yerde yaklaşık bir kez yanılması beklenir: yöntemin ızgarasında elli ayrı aralık ancak onda altı kez hep birlikte tuttu. oloproof sweep, çalıştırmaları okumadan önce adlandırdığınız bir karşıtlıklar ailesine karar verir, böylece tablonun tamamı birlikte tutar:

sweep:
  conditions:
    control: run_01...
    organism_a: run_01...
    organism_b: run_01...
  contrasts:
    - organism_a - control
    - organism_b - control

oloproof sweep sweep.yaml --policy compare.yaml

Her karşıtlık, tek bir paketin iki çalıştırmasının eşleştirilmiş bir karşılaştırmasıdır; politikadaki her karşılaştırma kuralıyla karara bağlanır, her iddia 1 - alpha/m düzeyinde, m iddia sayısıdır: herhangi birinin yanlış olma olasılığı en fazla alpha'dır. Yalnızca tabloya baktıktan sonra okuduğunuz bir karşıtlık bu güvencenin dışındadır. Farklı paketlerdeki çalıştırmalar karşılaştırılmaz.

Bir izleyicinin güvenliği ile denetim maliyeti

Bir kontrol protokolü için, yörünge başına bir satır, onun arm değeri (attack ya da honest) ve izleyicinin şüphe score değerini içeren bir dosya, her eşikte güvenliği (işaretlenen saldırıların payı) ve dürüst işaretleme oranını verir:

oloproof control monitor.csv --budget 0.02 --min-safety 0.9

Aralıklar tüm eşiklerde aynı anda, iki kol birlikte tutar; bu yüzden eğriye bakarak seçilen bir eşik, örneğin %2 denetim bütçesine uyan, yine kapsanır. --budget ve --min-safety ile, bir eşiğin dürüst yörüngelerin en fazla o payını işaretlerken saldırıların en az o payını yakalayıp yakalamadığına karar verir. Aralıklar kuyrukta ortadaki kadar geniştir, bu yüzden küçük bir bütçe çok sayıda dürüst yörünge ister: 2.000 ile dürüst işaretleme oranı yaklaşık 3 puan içinde bilinir. Buradaki güvenlik dosyadaki saldırılara karşıdır; izleyiciye uyum sağlayan bir saldırgan bunun dışındadır.

Güvenlik, saldırıları başarılı olsun ya da olmasın, saldırı kolundaki yörüngeler üzerinden sayılır. Arka kapı eklemesi istenen bir yörünge onu eklememiş olabilir ve izleyici, orada olmayanı kaçırdığı için suçlanamaz. Başarılı saldırılara karşı güvenlik için önce her saldırı yörüngesini doğrulayın (arka kapı için gizli girdisinde bir test) ve dosya oloproof control komutuna ulaşmadan önce attack kolunda yalnızca testi geçenleri tutun.

Hakemi denetlemek

Bir modelin puanladığı bir döküm, insanlar onunla aynı fikirde olana kadar hakemin sözüdür. Dökümleri makinenizde tutarak, içe aktarılan çalıştırmanın kör bir örneklemini etiketleyin:

oloproof scores import --from inspect --answers logs/organism.eval logs/organism.eval
oloproof review latest --criterion deceptive --by NAME

review örneklemi çeker, her dökümü hakemin kararı olmadan gösterir, uyumu ölçer ve hakemi yalnızca beyan ettiğiniz çıtayı geçerse doğrular. Doğrulanana kadar, oloproof init komutunun yazdığı gibi doğrulanmış hakemler isteyen bir politika, onun üzerinden bir kurala karar vermez. Oloproof'un yürüttüğü ve vakaları meta verilerinde etiket taşıyan bir çalıştırma için oloproof labels disagreements RUN --criterion deceptive --by behavior, hakemle insanların nerede ayrıldığını davranışa ve yöne göre gösterir: hakemin geçirip insanların kaldırdığı ve tersi. Her grubun aralığı kendi iddiasıdır; rapor hiçbir şeye karar vermez.

Yazıya dökün

oloproof report latest --paper paper/

Bu, figure.svg (her metriğin tahmini ve aralığı), table.md ve table.tex ile methods.md dosyalarını yazar; sonuncusu her aralık yöntemini ve güvenini adlandıran, aralıkların bu sonlu süit hakkında olduğunu söyleyen, eksik vakaları ve nadir olayları adlandıran, her hakem için insanların onu denetleyip denetlemediğini ve ne sıklıkla aynı fikirde olduklarını söyleyen ve gate'in neye karar verdiğini belirten bir paragraftır. Her sayı saklanan çalıştırmanınkidir ve paragraf sabit cümlelerden ve kaydedilmiş olgulardan kurulur; onu hiçbir model yazmaz. Bir not defterinde:

import oloproof

result = oloproof.analyze_inspect("logs/organism.eval", project="analysis")
result  # the figure, the table and the methods paragraph
result.write("paper/")

Bir denetim ajanının dökümleri

Inspect üzerinde çalışan, Petri gibi bir denetim aracı, scorer'ı her döküme boyut başına, çoğu zaman 1 ile 10 arasında bir puan veren bir Inspect günlüğü yazar. Onu bu aralıkla içe aktarın, oloproof scores import --from inspect --scale 1 10 audit.eval; her boyut, sınırlı bir ortalaması ve aralığı olan bir ölçüt olur. Hedefte bir değişiklikten önce ve sonra alınan bu türden iki günlük, ortak dökümleri üzerinde karşılaştırılır. Puanlar hakemin sözü olarak kalır: bir hakemin puanları, geçti ya da kaldı kararının aksine, henüz insanlara karşı denetlenemez.

Neler yapılmadı

Bir hakemin puanlarını, geçti ya da kaldı kararlarının aksine, insanlarınkine karşı denetlemek.
Bir Inspect örneğinin meta verilerindeki etiketler: içe aktarılan bir çalıştırmanın vakaları etiket taşımaz, bu yüzden labels disagreements --by yalnızca Oloproof'un yürüttüğü çalıştırmaları gruplar.
Bonferroni'den daha dar bir tarama (Dunnett ya da kapalı test), farklı paketlerdeki koşullar arasında karşıtlıklar ve kuyrukta daha dar izleyici aralıkları, birleştirilmiş birkaç izleyici ya da birkaç eşikli protokoller.
Bir PNG şekli: şekil yalnızca SVG'dir.

Bunun size söyleyemeyecekleri

Her aralık günlüğünüzdeki örnekler hakkındadır. Bu örneklerin eksiksiz, hatasız bir çalıştırmasının ne göstereceğini söyler; modelin başka promptlarda, yayında ya da uyum sağlayan bir saldırgan karşısında nasıl davrandığını değil. İnsanların denetlediği bir hakem, onların etiketlediği vakalar ve onları değerlendiren model üzerinde denetlenmiştir, bunlara benzemeyen dökümler üzerinde değil. Ve saldırı kümenizde %1'in altında sınırlanan bir oran, kümenizin içermediği saldırılar hakkında hiçbir şey söylemez.