ガイド
エビデンスページ
エビデンスページは、1 回の実行のエビデンスへの非公開リンクで、リンクを持つ人なら誰でもアカウントなしで開けます。スクリーンショットの代わりに、顧客、マネージャー、リスクチームに送ってください。
リンクを作る
ホスト型ワークスペースで実行を開き、その下にある Share an evidence page を見つけます。表示されるのは Owner か Admin だけです。リンクの有効期限 (7、30、90、365 日、または無期限) を選び、Make a link を押します。リンクは https://oloproof.com/e/ に 43 文字が続く形です。その場でコピーしてください。表示は 1 回だけで、Oloproof はそのダイジェストしか保持しないため、誰も再表示できません。
同じパネルに実行の有効なリンクが一覧表示されます。Revoke はリンクを即座に終了します。次のリクエストには、存在したことのないリンクとまったく同じく「見つかりません」と応答します。1 回の実行に持てる有効なリンクは最大 20 個です。リンクを作成した人がワークスペースを離れた場合、Owner または Admin でなくなった場合、またはアカウントを削除した場合も、リンクは自動的に終了し、パネルにも表示されなくなります。
CLI にはこのためのコマンドはありません。公開リンクを作ることは開示にあたるため、作成者がサインインしている workbench の中に留めています。
読み取り専用のサンプルプロジェクトは共有できません。
訪問者に見えるもの
- 先頭の "Reported by the developer"。開発者が評価を実行して push したものであり、Oloproof はエンジンが記録したとおりに結果を表示します。Oloproof はシステムを実行しておらず、ワークスペースの外の誰も数値を確認していません。
- リリースルールを文章と表で示し、それぞれを判定に使われた区間としてしきい値に対して描きます (基本概念)。
- 各メトリクスの推定値、区間、数えたケース、結果がどこまで及ぶか。
- ジャッジのチェック: 各モデルジャッジのステータス、記録された人との一致度とバイアス、ゲートが適用したジャッジのしきい値 (ジャッジ)。
- スイートの宣言された役割と、リリース用ホールドアウトであれば、それに対して実行されたシステムバージョンの数。
- これでは分からないこと (限界)、そして自分のスコアをチェックするためのリンク。
ワークスペースがプロジェクトのリリースを判定している場合、ページは、ワークスペースのリリース判定ではなく、ターミナルから来た実行自身のゲートを表示していると明記します。
訪問者に決して見えないもの
ケースの入力と出力、ケース ID、どのケースについてもジャッジの判定や理由、ワークスペースやプロジェクトの名前、メンバー、他の実行、比較、キー。一方でページにはシステムの名前とバージョン、スイートの名前が表示されるので、それらがリンクとともに伝わることを踏まえて名付けてください。
非公開に保つ
- リンクを持つ人は誰でも転送できます。数値そのものと同じように扱ってください。
- ページはインデックスされません。noindex が付き、robots.txt が /e/ を禁止し、キャッシュされることもリファラーとして送られることもありません。
- ページを開く操作にはクライアントごとのレート制限があります。Oloproof は作成されたリンクと開かれたページを 1 日あたり 1 つの匿名の合計として数え、誰がページを開いたかについては何も記録しません。
ラベルが主張しないこと
ページはレポートであって、お墨付きではありません。Oloproof がシステムをチェックしたとは言わず、バッジも表示しません。ワークスペースが判定記録に署名している実行 (CI のゲート) も、現時点ではページに "Reported by the developer" と表示されます。署名付きのラベルは実装済みですが、デプロイメントがワークスペースステートメントの鍵を公開するまではオフのままです。リンクが作成されるとき、Oloproof は実行の署名付きステートメントを公開された鍵と一度だけ照合し、ページがワークスペースの署名を示せるのは、そのチェックに合格し、その後鍵が失効していない場合だけです。