ガイド
評価でわからないこと
Oloproof の結果はどれも、限界を明示した測定上の主張です。このページでは、どの種類のシステムにも当てはまる限界を挙げます。システム別の各ガイドページは、「これでわからないこと」の下に独自の限界を加えています。
どの結果からもわからないこと
- スイートと似ていない入力。判定はスイートが標本とする母集団についての主張であり、スイートがシステムの出会うものの公平な標本である程度にしか良くありません。Oloproof はそれを確認できず、新しい種類の入力や来月のトラフィックはその外にあります(結果がどこまで及ぶか)。
- チェックが決して失敗しないこと。300 件すべてで合格したチェックは、失敗する頻度を抑えます(95% の信頼度で最大約 1.2%)が、証明ではありません。
- 次回システムがどう答えるか。replicates: を求めない限り、実行はケースごとに一つの回答を測ります(スイートを書く)。
- 確認されていない判定役のスコアが何を意味するか。人のラベルと一度も比べられていない判定役は UNVALIDATED のままで、その合格率は判定役の意見です。require_validated_evaluators: true を持つポリシーは、それに判定させません(判定役)。
- 「まだ確立されていない」と言うときにルールが失敗したこと。INSUFFICIENT_EVIDENCE は区間がまだバーをまたいでいることを意味し、システムがバーに届かなかったことではありません。oloproof plan は、あと何件で決まるかを示します。
- ルールが求めない限り、コストやレイテンシ。リリースの判定はポリシーが宣言するルールを対象とします。レイテンシの分位点や受け入れられたタスクあたりのコストの予算は、追加する max: ルールです(ゲーティング)。
- 再利用された回答がまだ最新かどうか。キャッシュされた出力や判定は以前のもので、入力のハッシュが同じなので再利用されます。ハッシュに見えない変更(同じ名前の裏で変わったモデル、システムが読み込むがインポートしないファイル、環境変数)は見えません(バージョン、キャッシュキー、無効化)。
- 見た後で選んだスライス。スライスの結果は、宣言したスライスに対する宣言された補正のもとでの主張です。面白そうに見えたから選んだ切り口にはそのような保証はなく、スライスがゲートを決めることはありません(スライス)。
- ケースがなぜ失敗したか。評価器は何が起きたかを述べます。原因には対照の横での介入が必要で、その場合でも Oloproof が挙げるのは試すべき要因であり、確立された原因ではありません。
- 独立であるかのように扱われた、時間順のケース。time_order を宣言したスイートは、独立なケースを仮定する区間ではなく MANUAL_REVIEW になります(クラスター化されたケース)。
- 認められた区間を持たないメトリクス。それを必要とするルールは、検証されていない手法を借りるのではなく、理由とともに MANUAL_REVIEW または INSUFFICIENT_EVIDENCE を返します。