Für KI, die bereits echte Arbeit leistet
Prüfen Sie, was Ihre KI in Produktion tut.
Sobald es live ist, prüfen Menschen im Browser eine Stichprobe, die Oloproof aus echtem Traffic zieht, während die Inhalte bei Ihnen bleiben. Der Workspace entscheidet anhand dessen, was sie gefunden haben, nicht anhand dessen, was jemand ihm zeigen wollte.
Ziehen
Eine Stichprobe, die niemand ausgewählt hat
Ihr Collector empfängt Ihre Traces über OpenTelemetry und legt sich für jede Stunde, die er versiegelt hat, mit einer signierten Merkle-Wurzel fest. Danach zieht der Workspace die Stichprobe mit seinem eigenen Zufall und prüft jeden gezogenen Trace gegen diese Festlegung, sodass kein Trace, den der Collector versiegelt hat, aus der Ziehung herausgehalten werden kann.
Review
Prüfende im Browser
Ein Owner oder Admin öffnet eine Prüfwarteschlange und weist Prüfende zu. Jede Person gibt ein Bestanden- oder Nicht-bestanden-Urteil, eine Bewertung auf einer festgelegten Skala oder eine blinde Präferenz zwischen zwei Ausgaben ab, erfasst unter ihrem eigenen Konto. Für die Messung gezogene Einträge werden ohne das Urteil des Judges angezeigt.
Behalten
Die Inhalte bleiben bei Ihnen
Unter der Standard-Egress-Richtlinie hält der Workspace keine Eingaben oder Ausgaben. Der Browser der prüfenden Person holt den Inhalt jedes Eintrags vom Collector in Ihrem Netzwerk, mit einem fünfminütigen Ticket, das die Bereitstellung signiert, und Oloproof speichert ihn nie.
Was der Workspace entscheidet
Bestanden- oder Nicht-bestanden-Urteile über eine Stichprobe, die der Workspace gezogen hat, korrigieren die Bestehensquote eines Judges durch Prediction-Powered Inference, und der Workspace prüft dieses Intervall mit seiner eigenen Engine nach. Er zählt nur Labels, die er selbst versiegelt hat, von unabhängigen Konten, und entscheidet mit denselben vier Zuständen wie jeder Lauf: bestanden, nicht bestanden, unzureichende Evidenz oder manuelle Prüfung. Bewertungen und Präferenzen werden gespeichert und angezeigt und gehen in keine Statistik ein, bis eine Methode für sie zugelassen ist.