本文へスキップ

コンプライアンス、リスク、調達の担当者へ

AI システムが何を基準にテストされ、誰が承認したかを把握しましょう。

すべての所見は、それを生んだ実行、照らし合わせたルール、リリースを承認したアカウントまでたどれます。ブラウザで読めて、何もインストールする必要はありません。

要件

あなたの要件を、証拠に照らして確認します。

システムが使われる地域に適用されるカタログを選びます。各要件は、充足、未充足、一部充足、判定不能のいずれかとして、その根拠となる証拠とともに表示されます。

エビデンス

各所見をその実行までたどる

所見には、その根拠となるルール、判定した実行、照らし合わせた基準値が記されます。要件を満たせるのは、システムの現行バージョンで、そのレビュー期間内に行われた実行だけです。

承認

誰がリリースを承認したか

ポリシーが求める場合、合格したリリースは二つのアカウントの承認を待ちます。そのうち一つは Owner です。判定は証拠が示したとおりのままで、記録には誰が承認したかが記されます。

対象範囲

スコアの先へ:レビュー担当者がリリースに問うこと。

ガバナンス

要件と承認

システムが使われる地域で選ばれるカタログ、要件ごとの所見、そしてポリシーが求める場合の合格したリリースの承認。 ガバナンスガイド

安全性とリスク

不具合の上限

上限は、スイートに含まれるケースで何かが不具合を起こす頻度を抑えます。ハザード登録簿は起こりうる不具合を挙げ、シード付きの攻撃ケースはサンドボックスで実行されます。 リスク上限ガイド

公平性

グループ間の差

宣言したグループ間での誤り率、偽陽性率、偽陰性率、選択率の最大の差を区間で判定し、小さなグループは証拠不足として報告します。 公平性ガイド

プライバシー

個人データと記憶

回答に個人データが含まれず、記憶した内容を繰り返さないことを、探す値を保存せずに確認します。 プライバシーガイド

人と AI

レビュー担当者と、システムを使った判断

レビュー担当者はブラウザでブラインドでラベルを付けます。研究では、システムの出力があるときにない場合より良い判断ができるかを測ります。 人と AI ガイド

継続的アシュアランス

リリース後も成り立つ

判定は、それが対象とするシステムがその後変わったかどうかを示します。稼働後は、実際のトラフィックから抽出したサンプルを人がレビューします。 本番レビュー

この AI システムのリリースが認められた理由を示せますか?

Oloproof はその答えを保持します。何を測定したか、どの基準値に照らしたか、何を判定したか、誰が承認したか。チームは一つの実行の証拠を、リンクを持つ誰もが開けるページとして共有できます。ページには開発者による報告と表示され、ケースの内容は含まれず、何もインストールする必要はありません。