Skip to content
AnmeldenWalkthrough buchen

Über uns

Wir bauen die Messschicht.

Teams liefern jede Woche Änderungen an KI-Systemen aus, ohne sagen zu können, ob die letzte sie besser gemacht hat. Oloproof ist der Teil des Stacks, der diese Frage mit Evidenz beantwortet: eine Schätzung, ihre Unsicherheit und eine Entscheidung, die Sie nachprüfen können.

Wie wir entscheiden

Auf dem Intervall, nicht auf der Schätzung

Eine Regel besteht, wenn das ganze Intervall ihren Schwellenwert überschreitet, und scheitert, wenn das ganze Intervall ihn verfehlt. Alles dazwischen wird als unzureichende Evidenz gemeldet und nie zu einem Bestehen aufgerundet.

Was wir behaupten

Nichts, was wir nicht reproduzieren könnten

Eine statistische Methode kommt mit einer schriftlichen Notiz, einem Coverage-Raster und einem Audit ins Produkt. Bis dahin schlägt eine Regel, die sie bräuchte, sicher fehl, statt sie sich zu borgen.

Wo Evidenz liegt

Standardmäßig bei Ihnen

Lokale Läufe verlassen Ihren Rechner nie. Ein Push enthält Metriken, Intervalle und Entscheidungen und lässt rohe Eingaben, Ausgaben und Traces bei Ihnen, sofern Ihr Projekt nichts anderes festlegt.

Judges

Gemessen, bevor sie entscheiden

Ein LLM-Judge wird anhand menschlicher Labels geprüft, an der unteren Grenze seiner Übereinstimmung, bevor er über ein Release entscheiden darf.

Sprachmodelle

Über der Evidenz, nicht in ihr

Modelle dürfen bewerten, erklären und das nächste Experiment vorschlagen. Sie erfinden nie eine statistische Methode und treffen nie die Release-Entscheidung.

Kosten

Nie zweimal für dieselbe Evidenz zahlen

Jede Ausführung und jede Bewertung wird einmal gespeichert, anhand ihres Inhalts. Wer eine unveränderte Suite erneut ausführt, nutzt wieder, was schon vorhanden ist.

Wofür es da ist

Funktioniert es? Für die Szenarien und Kriterien, die Sie deklariert haben, mit angegebenem Nenner.

Wo scheitert es? Einschließlich der Slices und Komponenten, die eine Gesamtrate verdeckt.

Wie sicher sind wir? Jede Zahl, die eine Entscheidung trägt, bringt ihre Unsicherheit mit.

Lässt es sich später vertreten? Die Aufzeichnung hinter einem Ergebnis wird aufbewahrt, damit jemand anderes sie prüfen kann.

Kontakt

Kontakt aufnehmen