私たちは測定レイヤーをつくっています。

ルールは、区間全体がしきい値を上回ったときに合格し、区間全体が下回ったときに不合格になります。その中間はすべてエビデンス不十分として報告され、合格に丸められることはありません。

統計手法がプロダクトに入るには、文書化されたノート、カバレッジグリッド、監査が必要です。それまでは、その手法を必要とするルールは手法を借用せず、安全側に倒れて失敗します。

ローカル実行がお手元のマシンの外に出ることはありません。プッシュで送られるのはメトリクス、区間、判断であり、プロジェクトで別途指定しない限り、生の入力、出力、トレースは手元に残ります。

LLM ジャッジは、リリースを判断できるようになる前に、人手のラベルと照合され、その一致度の下限で検証されます。

モデルは判定し、説明し、次の実験を提案できます。統計手法を考案したり、リリースの判断を下したりすることは決してありません。

すべての実行と判定は、その内容によって一度だけ保存されます。変更のないスイートを再実行すると、すでにあるものが再利用されます。