Für Compliance, Risiko und Einkauf
Wissen Sie, wogegen Ihr KI-System getestet wurde und wer es freigegeben hat.
Jeder Befund führt zurück zu dem Lauf, der ihn erzeugt hat, zu der Regel, an der er gemessen wurde, und zu den Konten, die das Release freigegeben haben. Lesen Sie ihn im Browser, ohne etwas zu installieren.
Anforderungen
Ihre Anforderungen, an der Evidenz geprüft.
Wählen Sie die Kataloge, die dort gelten, wo das System eingesetzt wird. Jede Anforderung lautet erfüllt, nicht erfüllt, teilweise erfüllt oder nicht bestimmbar, mit der Evidenz dahinter.
Evidenz
Jeder Befund bis zu seinem Lauf zurückverfolgt
Ein Befund nennt die Regel, auf der er beruht, den Lauf, der ihn entschieden hat, und die Schwelle, an der er gemessen wurde. Nur Läufe der aktuellen Version des Systems innerhalb ihres Prüfzeitraums können eine Anforderung erfüllen.
Freigabe
Wer das Release freigegeben hat
Wo die Richtlinie es verlangt, wartet ein bestandenes Release auf die Freigabe durch zwei Konten, eines davon ein Owner. Die Entscheidung bleibt, was die Evidenz sagte, und der Datensatz nennt, wer freigegeben hat.
Was es abdeckt
Über die Punktzahl hinaus: was eine Prüferin oder ein Prüfer von einem Release wissen will.
Governance
Anforderungen und Freigaben
Kataloge, ausgewählt danach, wo das System eingesetzt wird, ein Befund für jede Anforderung und die Freigabe eines bestandenen Release, wo die Richtlinie es verlangt. Leitfaden zu Governance
Sicherheit und Risiko
Obergrenzen für Fehlschläge
Eine Obergrenze begrenzt, wie oft auf den Fällen Ihrer Suite etwas schiefgeht. Ein Gefahrenregister benennt, was schiefgehen könnte, und Angriffsfälle mit Seed laufen in einer Sandbox. Leitfaden zu Risikoobergrenzen
Fairness
Abstände zwischen Gruppen
Der größte Abstand bei einer Fehler-, Falsch-positiv-, Falsch-negativ- oder Auswahlrate zwischen den Gruppen, die Sie angeben, entschieden auf einem Intervall, kleine Gruppen als unzureichende Evidenz gemeldet. Leitfaden zu Fairness
Datenschutz
Personenbezogene Daten und Memorisierung
Prüft, dass Antworten keine personenbezogenen Daten enthalten und nichts Memorisiertes wiederholen, ohne die gesuchten Werte zu speichern. Leitfaden zu Datenschutz
Menschen und KI
Prüfende, und Entscheidungen mit dem System
Ihre Prüfenden labeln im Browser, blind. Eine Studie misst, ob Menschen mit der Ausgabe des Systems besser entscheiden als ohne sie. Leitfaden zu Menschen und KI
Kontinuierliche Absicherung
Auch nach dem Release gültig
Eine Entscheidung sagt, ob sich das beschriebene System seitdem geändert hat. Sobald es live ist, prüfen Menschen eine Stichprobe aus echtem Verkehr. Produktionsprüfung
Können Sie zeigen, warum dieses KI-System ausgeliefert werden durfte?
Oloproof bewahrt die Antwort auf: was gemessen wurde, an welcher Schwelle, was entschieden wurde und wer es freigegeben hat. Ein Team kann die Evidenz eines Laufs als Seite teilen, die jeder mit dem Link öffnen kann, gekennzeichnet als vom Entwickler gemeldet, ohne Fallinhalte und ohne etwas zu installieren.