Değişiklik günlüğü

oloproof 0.1.0a1 yayımlandı; böylece altın yol temiz bir ortamda pip install oloproof ile başlıyor ve doğrudan oloproof init ile oloproof run adımlarına geçiyor. Sürümler, CI’da etiketlenmiş bir commit’ten, PyPI güvenilir yayımlama yoluyla ve saklanan hiçbir token olmadan derlenip yayımlanıyor.

Erken duran bir çalıştırma ya da karşılaştırma artık yaptığı her ara bakışı kaydediyor ve tezgâh bunları yeniden oynatıyor: her bakışta, hiç kıpırdamayan bir eşiğe karşı daralan her an geçerli aralık ve her kuralın karar verdiği bakış. Yalnızca motorun kaydettiği aralıkları çizer. Sabit örneklemli bir aralık asla canlıymış gibi canlandırılmaz, çünkü böyle bir aralığı iyi görünene kadar izlemek garantisini geçersiz kılar.

⌘K veya Ctrl+K görebildiğiniz her hedefi listeler; yapıştırılan bir çalıştırma kimliği veya karşılaştırma özeti onu açar. g ardından bir harf gezinir, j ve k bir tablonun satırlarında ilerler, ? ise tüm kısayolları listeler. Bir vaka, kanıt zinciri ve onu etiketleyen kişilerle birlikte çalıştırmasının yanında açılır. Azaltılmış hareket tercihinde tüm animasyonlar durur.

Tezgâh artık oloproof.com’u sunuyor ve uçtan uca altın yol sunucuda başarıyla geçti: bir inceleyici çalışma alanının çektiği 80 vakayı etiketledi, hakemin geçirdiği 7 yanlış yanıtı buldu ve çalışma alanı, gönderilen çalıştırmanın tek başına yetersiz kanıta sahip olduğu yerde, doğrulanmış örneklemi üzerinde Başarılı kararı verdi (%91,2, aralık %74,5 ile %100,0). Erişim davetle.

oloproof collect, standart bir OpenTelemetry SDK’sından OTLP/HTTP alır, GenAI ve OpenInference span’lerini içerik adresli izlerde birleştirir ve içeriklerini makinenizde tutar; bir gönderim çıkış politikanıza uyar. oloproof traces promote bir izi kaynak bilgisiyle birlikte bir test vakasına dönüştürür ve kopyaları reddeder.

Toplayıcınız, her saat mühürlediği her ize bir taahhüt imzalar. Ardından çalışma alanı kendi rastgeleliğiyle bir örneklem çeker ve çekilen her izi taahhüde karşı denetler; böylece izler saklanarak bir örneklem seçilmiş hâle getirilemez. oloproof traces evaluate örneklemi kaydedilmiş çıktıları üzerinden değerlendirir, çalışma alanı onu bir Owner’ın sabitlediği değerlendirmeye göre karara bağlar ve bir güven dizisi, projenin Production sayfasında her metriği örneklemler boyunca izler.

Bir Owner veya Admin bir kuyruk açar ve inceleyiciler atar; inceleyiciler klavyeden etiketler: geçti ya da kaldı, beyan edilmiş bir ölçekte bir puan veya iki çalıştırma arasında kör bir tercih, her biri hesap bazında kaydedilir. İnceleyicinin tarayıcısı vaka içeriğini sizin tarafınızdaki oloproof collect üzerinden beş dakikalık imzalı bir biletle alır; böylece çalışma alanı onu hiçbir zaman tutmaz.

Bir çalıştırma, bir Owner’ın kaydettiği bir runner anahtarıyla veya yönetilen worker tarafından imzalanabilir. Bir Owner değerlendirmenin tamamını (paket, değerlendiriciler, metrikler ve referans çalıştırma) ve kapı politikasını sabitler; çalışma alanı da her sistem sürümünü, tam olarak bu değerlendirmedeki ilk çalıştırmasında, sabitlenmiş çalıştırmaya karşı karara bağlar. İnsan etiketleri yalnızca bağımsız etiketleyicilerden geldiğinde ve hesap bazında sayılarak dikkate alınır.

Bir PPI aralığı, bir hakemi rastgele bir insan etiketi örneklemiyle düzeltir ve garantisi kimsenin seçmediği bir örneklem gerektirir. Çalışma alanı artık bu örneklemi, çalıştırmanın kanıtı orada dondurulduktan sonra çekiyor, tohum değerini kendine saklıyor ve düzeltilmiş aralığı kendi motoruyla denetliyor. Çalıştırma sayfası, çalışma alanının bir aralığı doğrulayıp doğrulamadığını söyler; kendi makinenizde çekilen bir örneklem iyi niyet beyanı olarak etiketli kalır.

early_stopping: true içeren bir politika vakaları tohumlu gruplar hâlinde çalıştırır ve her kural karar verdiğinde bir çalıştırmayı ya da bir adayı ve referansını eşzamanlı olarak durdurur; bu, ihtiyaç duyulmayan vakalarla birlikte DECIDED_EARLY olarak kaydedilir. Durdurulan oranlar her an geçerli bir bahis aralığı kullanır; böylece her gruptan sonra bakmak garantiyi korur. Bir hakemin geçme oranı, hakemi rastgele ve kör bir insan etiketi örneklemiyle birleştiren bir PPI aralığıyla kapıya bağlanabilir; bu aralık yalnızca hakeme ve yalnızca insanlara dayanan aralıkların yanında gösterilir.

Her biri bir üyenin doğrudan e-postanın kendisinden kapatabileceği bir kategori olan dört bildirim: yönetilen bir işin bitmesi veya başarısız olması, kapısı bir sürümü engelleyen gönderilmiş bir çalıştırma ya da karşılaştırma, ücretsiz kotanın %80 ve %100 kullanımı ve bir üyenin katılması. Bir kapı e-postası kaydedilmiş kararı aktarır ve çalıştırmaya bağlantı verir; vaka içeriği içermez. Yalnızca e-posta: Slack, çağrı cihazı ya da webhook yok.

Bir sağlayıcının yanı sıra e-posta adresi ve parolayla da giriş yapın; adresler doğrulanır ve parolalar sıfırlanabilir. Bir kişi kendi hesabını silebilir: kullanıcı ve yalnızca kendisinin üyesi olduğu her çalışma alanı aynı anda kaldırılır ve worker bu çalışma alanlarının kanıtlarını temizler.

Bir hakem, tipli bir soruyu (evet ya da hayır, bir seçim, düzeylere göre bir puan) her yanıt için bir olasılıkla yanıtlayabilir; bu olasılıklar yerel bir modelin token olasılıklarından tek bir ileri geçişte okunur. Kalibrasyonu insan etiketlerine karşı ölçülür ve kayıt defteri girdisine işlenir; bir kademe de yalnızca ucuz bir hakemin emin olmadığı vakaları daha güçlü bir hakeme gönderir. Eğitilmiş bir sınıflandırıcı da anahtar ve ağ olmadan bir değerlendirici olabilir.

Bir çalıştırmanın vakalarını bir dosyadan veya terminalden etiketleyin ve taslak bir hakemi benimsemeden önce bu etiketlere karşı deneyin. Bir hakem yanlılığını uyumunun yanında raporlar; yanlılığı beyan edilmiş bir payı aşan hakemin kapı olarak kullanılması engellenir ve bir doğrulama, ölçtüğü model değiştiği anda geçerliliğini yitirir. Etiket gerektirmeyen yoklamalar, önemli hiçbir şey değişmemişken bir kararın değişip değişmediğini denetler; ikili karşılaştırmalar her iki sırayla da sorulur, böylece yalnızca konumu nedeniyle tercih edilen bir yanıt kimse etiketlemeden ortaya çıkar.

Bir yörünge, her adımı hangi ajanın attığını ve her devri kaydeder. Değerlendiriciler yönlendirmeyi (istek, onu ele alması gereken ajana ulaştı mı), araç izinlerini (herhangi bir ajan kendisine ait olmayan bir aracı çağırdı mı) ve bitirmek yerine kontrolü birbirine paslayıp duran ajanları değerlendirir; dilimler de vakaları rotaya göre gruplar.

Bir paket her vakayı birkaç kez ölçebilir. Tekrarlar herhangi bir aralıktan önce vaka başına birleştirilir, karşılaştırmalar onları kesirler olarak eşler ve çalıştırma kaç vakanın kendisiyle çeliştiğini raporlar. Bir sistem bir hatayı geçici olarak işaretleyebilir, böylece runner onu yeniden dener: canlı bir RAG sisteminde bu, 22 eksik vakanın 18’ini geri kazandırdı ve aralığı %39 daralttı.