Zum Inhalt springen
Doku
ÄnderungsprotokollPreiseKonsole öffnen

Anleitungen

Evidenzseiten

Eine Evidenzseite ist ein nicht gelisteter Link zur Evidenz eines Laufs, den jeder, der ihn besitzt, ohne Konto öffnen kann. Schicken Sie ihn statt eines Screenshots an einen Kunden, eine Führungskraft oder ein Risikoteam.

Öffnen Sie in einem gehosteten Workspace den Lauf und suchen Sie darunter Share an evidence page. Nur ein Owner oder ein Admin sieht es. Wählen Sie, wann der Link abläuft (7, 30, 90 oder 365 Tage oder nie), und drücken Sie Make a link. Der Link sieht aus wie https://oloproof.com/e/, gefolgt von 43 Zeichen. Kopieren Sie ihn sofort: Er wird einmal angezeigt, und Oloproof behält nur einen Digest davon, sodass ihn Ihnen niemand erneut zeigen kann.

Dasselbe Panel listet die offenen Links des Laufs. Revoke beendet einen sofort: Die nächste Anfrage dafür antwortet „nicht gefunden“, genau wie bei einem Link, den es nie gab. Ein Lauf kann bis zu 20 offene Links haben. Ein Link schließt sich auch von selbst, wenn die Person, die ihn erstellt hat, den Workspace verlässt, nicht mehr Owner oder Admin ist oder ihr Konto löscht; das Panel listet ihn dann nicht mehr.

Dafür gibt es keinen Befehl in der CLI. Einen öffentlichen Link zu erstellen ist eine Offenlegung, deshalb bleibt es in der Workbench, wo die Person, die ihn erstellt, angemeldet ist.

Das schreibgeschützte Beispielprojekt kann nicht geteilt werden.

Was ein Besucher sieht

  • "Reported by the developer", ganz oben. Der Entwickler hat die Evaluation ausgeführt und gepusht; Oloproof zeigt die Ergebnisse so, wie die Engine sie aufgezeichnet hat, hat das System nicht ausgeführt, und niemand außerhalb des Workspace hat die Zahlen geprüft.
  • Die Release-Regeln in Worten und in einer Tabelle, jede als das Intervall gezeichnet, auf dem sie entschieden wurde, gegen ihre Schwelle (Kernkonzepte).
  • Die Schätzung jeder Metrik, ihr Intervall, die gezählten Fälle und wie weit das Ergebnis reicht.
  • Die Judge-Prüfung: der Status jedes Modell-Judges, seine aufgezeichnete Übereinstimmung mit Menschen und sein Bias sowie die Judge-Schwellen, die das Gate angewendet hat (Judges).
  • Die deklarierte Rolle der Suite und, für einen Release-Holdout, wie viele Systemversionen darauf ausgeführt wurden.
  • Was dies Ihnen nicht sagen kann (Grenzen), und ein Link, um Ihre eigenen Scores zu prüfen.

Wo ein Workspace über die Releases des Projekts entscheidet, sagt die Seite, dass sie das eigene Gate des Laufs aus dem Terminal zeigt, nicht die Release-Entscheidung des Workspace.

Was ein Besucher nie sieht

Eingaben und Ausgaben der Fälle, Fall-IDs, das Urteil oder die Begründung eines Judges zu irgendeinem Fall, den Namen des Workspace oder Projekts, seine Mitglieder, andere Läufe, Vergleiche oder Schlüssel. Die Seite zeigt jedoch Namen und Version des Systems und den Namen der Suite; wählen Sie diese im Wissen, dass sie mit dem Link reisen.

Privat halten

  • Wer einen Link besitzt, kann ihn weiterleiten. Behandeln Sie ihn wie die Zahlen selbst.
  • Die Seite wird nicht indexiert: Sie trägt noindex, robots.txt verbietet /e/, und sie wird nie gecacht oder als Referrer weitergegeben.
  • Das Öffnen von Seiten ist pro Client ratenbegrenzt. Oloproof zählt erstellte Links und geöffnete Seiten als eine anonyme Summe pro Tag und zeichnet nichts darüber auf, wer eine Seite geöffnet hat.

Was das Label nicht behauptet

Die Seite ist ein Bericht, kein Siegel. Sie sagt nicht, dass Oloproof das System geprüft hat, und zeigt kein Abzeichen. Ein Lauf, dessen Workspace seinen Entscheidungsdatensatz signiert (Gating in der CI), zeigt auf seiner Seite vorerst weiterhin "Reported by the developer". Ein signiertes Label ist gebaut, bleibt aber aus, bis die Bereitstellung ihren Schlüssel für Workspace-Erklärungen veröffentlicht: Wenn ein Link erstellt wird, prüft Oloproof die signierte Erklärung des Laufs einmal gegen die veröffentlichten Schlüssel, und die Seite könnte nur dann sagen, dass der Workspace sie signiert hat, wenn diese Prüfung bestanden wurde und der Schlüssel seitdem nicht widerrufen ist.

Wie es weitergeht