Kılavuzlar
Bugün neler çalışıyor
Bugün Oloproof ile neleri değerlendirebileceğiniz, bunlara nasıl ulaştığınız (Python SDK, oloproof.yaml ve CLI ya da tarayıcı) ve neyin henüz yapılmadığı. Bu sayfa, her satırı planlara göre değil kod ve testlerine göre denetleyen, 8 Ekim 2026 tarihli bir iç inceleme olan yetenek denetimine dayanır.
Bu sayfa nasıl okunur
"SDK", Python paketi (import oloproof) anlamına gelir. "YAML", oloproof.yaml üzerinden oloproof run ile çalıştırdığınız bir proje anlamına gelir. İkisi aynı yüzey değildir: birkaç değerlendirici yalnızca birinde bulunur ve bu sayfa hangisinde olduğunu söyler. "Tarayıcı", oloproof push ile gönderdiklerinizi gösteren barındırılan çalışma tezgâhı anlamına gelir; kodda ya da YAML'da tanımlamadığınız değerlendirmeleri çalıştırmaz.
Oloproof sisteminizi çağırır; onu barındırmaz, yalıtmaz ya da sıfırlamaz. Bir çalıştırma sırasında uygulamanızın durumu, oturumları ve araç yan etkileri kendisine aittir.
Sistem türüne göre
| Sisteminiz | Ne çalışıyor | Nerede | Yapılmadı |
|---|---|---|---|
| Sınıflandırıcı ya da yapılandırılmış çıktı | Tam eşleşme, içerir, regex, JSON şeması, rubrik hakemi, olasılık hakemi, model sınıflandırıcı; aralıklarıyla geçme oranları | SDK ve YAML; model_classifier, probability_judge ve cascade yalnızca YAML'da | n/a |
| Metin üretimi, özetler, çıkarım | Serbest metin üzerinde aynı kontroller, rubrik hakemleri, hakemin insan etiketleriyle uyumu, eşleştirilmiş tercih | SDK ve YAML; tercih oloproof prefer komutudur | BLEU, ROUGE ya da embedding benzerliği (@evaluator ile kendiniz yazın) |
| Kara kutu olarak çalıştırdığınız RAG | Hit rate, recall, MRR, nDCG, atıf geçerliliği, dayanaklılık ve atıf desteği hakemleri; sisteminizin kaydettiği ya da döndürdüğü getirme yapıtlarından | SDK ve YAML | Teşhis: diagnose aşamalı bir sistem gerektirir |
| Aşamalar halinde kurulmuş RAG | Yukarıdakilerin tümü, aşama başına önbellek ve bir kontrolün yanında altın bağlam, top-k ya da reranker değişiklikleriyle oloproof diagnose | SDK @rag_system, YAML system.rag, CLI diagnose | Bu üçünün ötesindeki müdahaleler |
| Araç kullanan ajan | Adım sınırları, zorunlu ve yasak araçlar, araç sırası, döngüler, kısıtlar; kaydedilmiş bir yörüngeden | SDK ve YAML | LLM ile değerlendirilen bir yörünge kalitesi kontrolü |
| Çok ajanlı sistem | Yönlendirme, ajan başına araç izinleri, devir sınırları | SDK ve YAML | n/a |
| Ajan yeniden oynatma | Bir adımı gerekli ya da gereksiz olarak etiketlemek için bir vakayı bir kontrol noktasından yeniden çalıştırma | Yalnızca SDK (replay_case), kontrol noktalarını destekleyen bir sistem için | Bir CLI komutu |
| İkili sınıflandırıcı model | Doğruluk, kesinlik, duyarlılık, Brier, log loss, sıralama (AUC) | SDK ve YAML predictive: | n/a |
| Çok sınıflı model | Sınıf başına bir blok (birine karşı diğerleri) | SDK ve YAML | Makro ya da mikro ortalamalar |
| Regresyon modeli | Bildirilmiş bir target_range içinde mutlak hata | SDK ve YAML | Kare hata, R kare, sınırsız hata |
| Çok turlu konuşma | Senaryodaki her turun yanıtlanıp yanıtlanmadığı ve konuşmanın tamamı üzerinde bir rubrik hakemi | Yalnızca SDK (ConversationCompleted, ConversationJudge) | YAML türleri, tur düzeyinde puanlar, bir kullanıcı simülatörü, konuşma yeniden oynatma |
| Görüntü, ses, video | Yerel bir şey yok: bir vaka sisteminiz üzerinden bir URL ya da kodlanmış bir dosya taşıyabilir ve @evaluator çıktıyı kontrol edebilir | n/a | Hakemler yalnızca JSON metni görür; medya yapıtları ya da işleme yok |
Çok turlu konuşmalar için bir geçici çözüm: her turu bir vaka yapın ve aynı konuşmanın turlarına aynı group_id değerini verin; böylece analiz onları bir küme olarak ele alır (Kümeler). Bu durumda her tur, kaydedilmiş tek bir diyalog değil, ayrı bir çağrıdır.
Sisteminizi bağlamak
- Python çağrılabilir nesnesi: SDK'da @system ya da YAML'da system.callable: module:function. Vakanın input değerini alır ve bir sözlük döndürür. Senkron ve asenkron fonksiyonların ikisi de çalışır.
- HTTP: url, method, output_path, artifacts ve timeout_s ile system.http. Vaka girdisi JSON gövdesi olarak gönderilir ve yanıt JSON olarak okunur. Başlıklar ve kimlik doğrulama henüz yapılandırılamaz; anahtar gerektiren bir uç noktayı, anahtarı ekleyen bir çağrılabilir nesnenin arkasına koyun.
- Özel değerlendiriciler: SDK'da @evaluator. oloproof.yaml henüz birini adlandıramaz.
İş akışları
| İş akışı | Ne çalışıyor | Yapılmadı |
|---|---|---|
| İki sürümü karşılaştırma | Eşleştirilmiş üstünlük, eşdeğerden aşağı olmama ve eşdeğerlik; çoklu karşılaştırma kontrolüyle dilimler | n/a |
| CI | Politikanızın block_on ayarından oloproof gate çıkış kodları, onay, imzalı kayıtlar; bir pull request özeti (--summary markdown) | n/a |
| İnsan incelemesi | Bir dosyadan ya da terminalden etiketler; barındırılan bir çalışma alanında atanmış inceleyicilerle tarayıcı inceleme kuyruğu | Yerel bir projede tarayıcı inceleme kuyruğu |
| Tarayıcı çalışma tezgâhı | oloproof push sonrasında çalıştırmalar, vakalar, karşılaştırmalar, teşhisler, değerlendiriciler, inceleme ve trafik | Veri kümesi içe aktarma, hakem yazma, zamanlamalar, uyarılar ve olay sonrası incelemeler (planlanmış olarak gösterilir) |
| Yerel tarayıcı | n/a | Çalışma tezgâhını yerelde sunan bir CLI komutu yoktur; tezgâh barındırılır |
Neler, nasıl test edildi
Yukarıdaki her ailenin, fixture'lar ve taklit sağlayıcılar üzerinde çalıştırılan otomatik testleri vardır. Gerçek modellerle gerçek sistemlere karşı yapılan çalıştırmalar RAG, tek bir ajan ve çok turlu bir konuşma için kayıtlıdır; tahmine dayalı modeller ya da çok ajanlı sistemler için henüz yoktur. Sürüm kararı veren istatistiksel yöntemlerin her biri kendi denetimiyle kabul edilmiştir; kabul edilmiş bir aralığı olmayan bir metrik bir kuralı aralık üzerinden karara bağlamaz ve buna ihtiyaç duyacak bir kural, nedeniyle birlikte MANUAL_REVIEW ya da INSUFFICIENT_EVIDENCE döndürür.