Configuratiereferentie

Elk veld van oloproof.yaml en release.yaml, met zijn type, zijn standaardwaarde, de waarden die het accepteert en een voorbeeld, overgenomen uit de modellen die de bestanden lezen. Gebruik deze pagina om een veld op te zoeken; lees de pagina's quickstart en gating om de werkwijze te leren.

Beide bestanden worden gevalideerd voordat er iets draait. Een onbekend veld, een verkeerd gespeld veld of een waarde van het verkeerde type is een configuratiefout, en het commando eindigt met 2 zonder een case uit te voeren. Beide bestanden hebben JSON Schemas, die een editor die JSON Schema leest kan gebruiken voor aanvulling. Het geïnstalleerde pakket schrijft ze, samen met de resultaatschema's, naar schemas/v1/ onder de huidige map: python -m oloproof_core.models.schema_export (de twee heten project_config.schema.json en release_policy.schema.json).

In de tabellen hieronder betekent "verplicht" dat het bestand zonder het veld wordt geweigerd; elk ander veld toont de waarde die wordt gebruikt als je het weglaat.

oloproof.yaml in één oogopslag

Een klein, volledig project. Het draait lokaal een Python-functie, heeft geen netwerk en geen sleutels nodig, en heeft de vorm die oloproof init neerzet.

# oloproof.yaml
version: 1
project: support-bot
dataset: datasets/support.jsonl
system:
  name: support-bot
  callable: app.bot:answer
evaluators:
  - type: exact_match
    criterion: correct_label
    field: label

Velden op het hoogste niveau

concurrency

pricing-items

Oloproof levert geen prijstabel mee. Elk item noemt een model precies zoals het model: van een evaluator het noemt.

# oloproof.yaml
version: 1
project: support-bot
dataset: datasets/support.jsonl
system:
  name: support-bot
  callable: app.bot:answer
evaluators:
  - type: exact_match
    criterion: correct_label
    field: label
pricing:
  - model: my-judge-model
    input_per_mtok: 0.15
    output_per_mtok: 0.6
egress: [raw_outputs]

system

Een systeem heeft precies één van callable, http of rag nodig.

system.http

# oloproof.yaml
version: 1
project: support-api
dataset: datasets/support.jsonl
system:
  name: support-api
  version: "2026-10-08"
  http:
    url: http://localhost:8000/answer
    output_path: answer
    artifacts:
      retrieval/v1: debug.retrieval
evaluators:
  - type: hit_rate
    k: 5

Het contract voor verzoek en antwoord, en wat er gebeurt bij timeouts en HTTP-fouten, staan in Resultaten en uitvoering.

system.rag

Instellingen die je hier geeft gaan voor op de instellingen die de klasse declareert. Een systeem in fasen legt zijn eigen retrieval/v1-, context/v1- en citations/v1-artefacten vast, dus records wordt ernaast geweigerd. Zie RAG.

evaluators

Elk item neemt een type en deze twee gemeenschappelijke velden:

fail geldt alleen voor geslaagd/mislukt-evaluators; een score-evaluator ermee is een configuratiefout. on_execution_error is een YAML-veld; de SDK-evaluatorklassen nemen zo'n argument niet, en een case met een fout telt als ontbrekend.

Evaluatortypen

"Leest" noemt waar het oordeel van de evaluator van afhangt, en dat is ook waarop zijn gecachete oordeel is gesleuteld. "SDK" noemt de klasse in oloproof.evaluators.

Een judge die een gehost model aanroept stuurt caseinhoud naar die provider en wordt door die provider gefactureerd. Sleutels worden gelezen uit de omgevingsvariabele die api_key_env noemt; Oloproof slaat ze nooit op in deze bestanden.

Deterministische evaluators

Modeljudges

rubric_judge, groundedness_judge en citation_support_judge delen deze velden. rubric_judge vereist precies één van rubric_file of rubric_text; de twee RAG-judges nemen er hooguit één en gebruiken anders een ingebouwde rubric. Hun criterion is standaard groundedness en citation_support.

probability_judge stelt een getypeerde vraag en leest de kansen van het model:

cascade draait eerst een goedkope judge en escaleert de onzekere cases:

De fasen beoordelen het eigen criterion van de cascade; een fase die een ander noemt wordt geweigerd.

model_classifier scoort tekst met een getraind model op een TEI-compatibele server:

RAG-evaluators

Agentevaluators

Elk agenttype heeft een standaard-criterion, dus je mag het weglaten: zijn eigen typenaam, of een naam gebouwd uit zijn instelling (agent_steps_le_8, agent_tool_lookup_called, agent_handoffs_le_2). Zie Agents.

Voorspellende evaluators

Een voorspellende evaluator die positive, field of expected_field niet invult, neemt die over van het predictive:-blok; een waarde die hij zelf invult blijft staan.

predictive

metrics

Elk evaluatorcriterium is al een metriek. Een metrics:-item voegt er een toe, onderscheiden door type.

# oloproof.yaml
version: 1
project: support-bot
dataset: datasets/support.jsonl
system:
  name: support-bot
  callable: app.bot:answer
evaluators:
  - type: exact_match
    criterion: correct_label
    field: label
metrics:
  - id: latency_p95
    type: quantile
    source: latency_ms
    quantile: 0.95

release.yaml

Het releasebeleid: welke regels beslissen, en welke beslissingen blokkeren. Weggelaten instellingen houden hun standaard, dus een beleid dat alleen zijn regels noemt blokkeert nog steeds op FAIL, INSUFFICIENT_EVIDENCE en MANUAL_REVIEW.

# release.yaml
version: 1
rules:
  - id: label_accuracy
    metric: correct_label
    min: 0.8

rules

Eén lijst bevat beide soorten. Een runregel neemt precies één van min, max of max_failures. Een vergelijkingsregel noemt zijn kind en beslist over een verschil tussen twee runs; zie Vergelijkingsregels.

families

# release.yaml
version: 1
warn_on: [INSUFFICIENT_EVIDENCE]
block_on: [FAIL, MANUAL_REVIEW]
rules:
  - id: label_accuracy
    metric: correct_label
    min: 0.8
    max_missing_fraction: 0.05
  - id: no_regression
    metric: correct_label
    kind: non_inferiority
    margin: 0.02

Artefactsoorten

Een artefact is een getypeerd record dat een systeem naast zijn output schrijft, zoals wat het ophaalde. Een soort is een naam in kleine letters met een optionele versie, die overeenkomt met ^[a-z][a-z0-9_]*(/v[1-9][0-9]*)?$. Evaluators die een artefact nodig hebben noemen het, en een run waarvan het systeem een vereiste soort niet declareert wordt geweigerd voordat hij begint, in plaats van elke case als ontbrekend te tellen.

Een callable systeem declareert de soorten die het vastlegt in records: (of @system(records=...)); een HTTP-systeem in http.artifacts; een RAG-systeem in fasen legt zijn eigen vast.

Versies, cachesleutels en ongeldig maken

Oloproof hergebruikt werk waarvan de inputs niet veranderd zijn, en bepaalt wat "ongewijzigd" betekent aan de hand van inhoudsdigests. Elke digest wordt door de engine berekend en met de run vastgelegd.

Wat Oloproof niet kan zien, moet jij declareren:

• Het gedrag van een HTTP-systeem woont op de server. Wijzig system.version telkens als wat achter de URL zit verandert, anders staat een oude gecachete output voor het nieuwe systeem.
• De hulpmodules van een callable worden alleen gehasht als code_paths ze matcht. Zonder dat verandert het bewerken van een hulpmodule de versie niet.
• Een methode of een callable object moet een versie declareren, en die versie moet veranderen als de toestand van het object verandert.
• Een RAG-index wordt geïdentificeerd door index_version; wijzig die als de index opnieuw wordt gebouwd.
• De identiteit van een modeljudge zijn zijn instellingen, niet de gewichten van de provider. Een provider die het model achter dezelfde naam bijwerkt, wordt door de cache niet opgemerkt.
• Een eigen @evaluator hasht het modulebestand dat hem definieert, en zijn oordelen worden alleen tussen runs hergebruikt als hij cacheable=True declareert. Ingebouwde rubricjudges zijn cachebaar; deterministische evaluators worden opnieuw berekend, wat goedkoop is.

Gecachet werk staat in de lokale store van het project, .oloproof/store.sqlite naast oloproof.yaml (of onder OLOPROOF_HOME). Wie de store verwijdert, gooit elke cache en elke run weg. In een gehoste workspace hergebruikt de engine geen gecachete uitvoeringen, oordelen of analyses, omdat een push ze kan beschrijven; hij berekent ze opnieuw.