Yapılandırma başvurusu

oloproof.yaml ve release.yaml dosyalarının her alanı; türü, varsayılanı, kabul ettiği değerler ve bir örnekle birlikte, dosyaları okuyan modellerden alınmıştır. Bir alana bakmak için kullanın; iş akışını öğrenmek için hızlı başlangıç ve kapı denetimi sayfalarını okuyun.

İki dosya da herhangi bir şey çalışmadan önce doğrulanır. Bilinmeyen bir alan, yanlış yazılmış bir alan ya da yanlış türde bir değer bir yapılandırma hatasıdır ve komut tek bir vaka yürütmeden 2 ile çıkar. İki dosyanın da JSON Schema'ları vardır; JSON Schema okuyan bir düzenleyici onları tamamlama için kullanabilir. Kurulu paket onları, sonuç şemalarıyla birlikte, geçerli dizin altındaki schemas/v1/ içine yazar: python -m oloproof_core.models.schema_export (ikisi project_config.schema.json ve release_policy.schema.json dosyalarıdır).

Aşağıdaki tablolarda "zorunlu", dosyanın o alan olmadan reddedildiği anlamına gelir; diğer her alan, verilmediğinde kullanılan değeri gösterir.

Bir bakışta oloproof.yaml

Küçük, eksiksiz bir proje. Bir Python fonksiyonunu yerelde çalıştırır, ağ ve anahtar gerektirmez ve oloproof init komutunun oluşturduğu biçimdir.

# oloproof.yaml
version: 1
project: support-bot
dataset: datasets/support.jsonl
system:
  name: support-bot
  callable: app.bot:answer
evaluators:
  - type: exact_match
    criterion: correct_label
    field: label

Üst düzey alanlar

concurrency

pricing girdileri

Oloproof bir fiyat tablosuyla gelmez. Her girdi bir modeli tam olarak bir değerlendiricinin model: alanının adlandırdığı gibi adlandırır.

# oloproof.yaml
version: 1
project: support-bot
dataset: datasets/support.jsonl
system:
  name: support-bot
  callable: app.bot:answer
evaluators:
  - type: exact_match
    criterion: correct_label
    field: label
pricing:
  - model: my-judge-model
    input_per_mtok: 0.15
    output_per_mtok: 0.6
egress: [raw_outputs]

system

Bir sistem callable, http ya da rag değerlerinden tam olarak birine ihtiyaç duyar.

system.http

# oloproof.yaml
version: 1
project: support-api
dataset: datasets/support.jsonl
system:
  name: support-api
  version: "2026-10-08"
  http:
    url: http://localhost:8000/answer
    output_path: answer
    artifacts:
      retrieval/v1: debug.retrieval
evaluators:
  - type: hit_rate
    k: 5

İstek ve yanıt sözleşmesi ile zaman aşımlarında ve HTTP hatalarında ne olduğu Sonuçlar ve yürütme sayfasındadır.

system.rag

Burada verilen ayarlar sınıfın bildirdiklerini geçersiz kılar. Aşamalı bir sistem kendi retrieval/v1, context/v1 ve citations/v1 yapıtlarını kaydeder, bu yüzden yanında records reddedilir. Bkz. RAG.

evaluators

Her girdi bir type ve şu iki ortak alanı alır:

fail yalnızca geçti/kaldı değerlendiricilerine uygulanır; onu taşıyan bir puan değerlendiricisi bir yapılandırma hatasıdır. on_execution_error bir YAML alanıdır; SDK değerlendirici sınıfları böyle bir argüman almaz ve hata veren bir vaka eksik sayılır.

Değerlendirici türleri

"Okuduğu", değerlendiricinin hükmünün neye bağlı olduğunu listeler; önbellekteki yargısının anahtarı da budur. "SDK", oloproof.evaluators içindeki sınıfı adlandırır.

Barındırılan bir modeli çağıran bir hakem vaka içeriğini o sağlayıcıya gönderir ve onun tarafından faturalanır. Anahtarlar api_key_env içinde adlandırılan ortam değişkeninden okunur; Oloproof onları asla bu dosyalarda saklamaz.

Deterministik değerlendiriciler

Model hakemleri

rubric_judge, groundedness_judge ve citation_support_judge bu alanları paylaşır. rubric_judge, rubric_file ya da rubric_text değerlerinden tam olarak birini gerektirir; iki RAG hakemi en fazla birini alır, aksi halde yerleşik bir rubrik kullanır. criterion değerleri varsayılan olarak groundedness ve citation_support olur.

probability_judge tipli bir soru sorar ve modelin olasılıklarını okur:

cascade önce ucuz bir hakem çalıştırır ve belirsiz vakaları yukarı taşır:

Aşamalar kaskadın kendi criterion değerini değerlendirir; farklı birini adlandıran bir aşama reddedilir.

model_classifier, metni TEI uyumlu bir sunucudaki eğitilmiş bir modelle puanlar:

RAG değerlendiricileri

Ajan değerlendiricileri

Her ajan türünün varsayılan bir criterion değeri vardır, bu yüzden verilmeyebilir: kendi tür adı ya da ayarından oluşturulan bir ad (agent_steps_le_8, agent_tool_lookup_called, agent_handoffs_le_2). Bkz. Ajanlar.

Tahminsel değerlendiriciler

positive, field ya da expected_field değerini yazmayan bir tahminsel değerlendirici onu predictive: bloğundan alır; yazdığı bir değer korunur.

predictive

metrics

Her değerlendirici kriteri zaten bir metriktir. Bir metrics: girdisi, type ile ayırt edilen bir tane daha ekler.

# oloproof.yaml
version: 1
project: support-bot
dataset: datasets/support.jsonl
system:
  name: support-bot
  callable: app.bot:answer
evaluators:
  - type: exact_match
    criterion: correct_label
    field: label
metrics:
  - id: latency_p95
    type: quantile
    source: latency_ms
    quantile: 0.95

release.yaml

Sürüm politikası: hangi kuralların karar verdiği ve hangi kararların engellediği. Verilmeyen ayarlar varsayılanlarını korur, bu yüzden yalnızca kurallarını adlandıran bir politika yine de FAIL, INSUFFICIENT_EVIDENCE ve MANUAL_REVIEW durumlarında engeller.

# release.yaml
version: 1
rules:
  - id: label_accuracy
    metric: correct_label
    min: 0.8

rules

Tek bir liste iki türü de tutar. Bir çalıştırma kuralı min, max ya da max_failures değerlerinden tam olarak birini alır. Bir karşılaştırma kuralı kind değerini adlandırır ve iki çalıştırma arasındaki bir farka karar verir; bkz. Karşılaştırma kuralları.

families

# release.yaml
version: 1
warn_on: [INSUFFICIENT_EVIDENCE]
block_on: [FAIL, MANUAL_REVIEW]
rules:
  - id: label_accuracy
    metric: correct_label
    min: 0.8
    max_missing_fraction: 0.05
  - id: no_regression
    metric: correct_label
    kind: non_inferiority
    margin: 0.02

Yapıt türleri

Bir yapıt, bir sistemin çıktısının yanına yazdığı tipli bir kayıttır; örneğin ne getirdiği. Bir tür, isteğe bağlı bir sürümle birlikte küçük harfli bir addır ve ^[a-z][a-z0-9_]*(/v[1-9][0-9]*)?$ ile eşleşir. Bir yapıta ihtiyaç duyan değerlendiriciler onu adlandırır ve sistemi gerekli bir türü bildirmeyen bir çalıştırma, her vakayı eksik saymak yerine başlamadan reddedilir.

Bir callable sistem kaydettiği türleri records: (ya da @system(records=...)) içinde bildirir; bir HTTP sistemi http.artifacts içinde; aşamalı bir RAG sistemi kendininkileri kaydeder.

Sürümler, önbellek anahtarları ve geçersiz kılma

Oloproof girdileri değişmemiş işi yeniden kullanır ve "değişmemiş"in ne demek olduğuna içerik özetlerinden karar verir. Her biri motor tarafından hesaplanır ve çalıştırmayla birlikte kaydedilir.

Oloproof'un göremediğini bildirmek size kalır:

• Bir HTTP sisteminin davranışı sunucuda yaşar. URL'nin arkasındaki şey her değiştiğinde system.version değerini değiştirin; aksi halde eski bir önbellek çıktısı yeni sistemin yerine geçer.
• Bir callable'ın yardımcı modülleri yalnızca code_paths onlarla eşleştiğinde özetlenir. Bu olmadan bir yardımcıyı düzenlemek sürümü değiştirmez.
• Bir yöntem ya da callable bir nesne bir sürüm bildirmelidir ve nesnenin durumu değiştiğinde sürüm de değişmelidir.
• Bir RAG dizini index_version ile tanımlanır; dizin yeniden oluşturulduğunda onu değiştirin.
• Bir model hakeminin kimliği, sağlayıcının ağırlıkları değil, ayarlarıdır. Bir sağlayıcının aynı adın arkasındaki modeli güncellemesi önbellek tarafından algılanmaz.
• Özel bir @evaluator onu tanımlayan modül dosyasını özetler ve yargıları çalıştırmalar arasında yalnızca cacheable=True bildirdiğinde yeniden kullanılır. Yerleşik rubrik hakemleri önbelleğe alınabilir; deterministik değerlendiriciler yeniden hesaplanır, bu da ucuzdur.

Önbellekteki iş projenin yerel deposunda, oloproof.yaml yanındaki .oloproof/store.sqlite dosyasında (ya da OLOPROOF_HOME altında) yaşar. Depoyu silmek her önbelleği ve her çalıştırmayı atar. Barındırılan bir çalışma alanında motor önbellekteki yürütmeleri, yargıları ya da çözümlemeleri yeniden kullanmaz, çünkü bir push onları yazabilir; yeniden hesaplar.