比較
Oloproof とその場しのぎのプロンプトテスト。
プレイグラウンドでのスポットチェックは速く、探索している間は本当に役立ちます。しかし変更がユーザーに届いた瞬間、それだけでは足りなくなります。
| 質問 | プレイグラウンドでのスポットチェック | Oloproof |
|---|---|---|
| 品質は変わったか？ | 一握りの出力から得た感覚 | 対応のあるケースにおける差とその 95% 区間、そしてその区間にもとづく判定 |
| 誰にとって変わったか？ | 不明 | 宣言したスライスごと：言語、意図、任意のメタデータキー、エージェントが最初に呼び出したツール、そのルート |
| 次の四半期に再実行できるか？ | いいえ：プロンプトもケースも残っていません | はい：スイート、システムバージョン、評価器バージョンはコンテンツアドレスで管理され、サンプルはシードを保持します |
| 悪いリリースを止められるか？ | 誰かが確認を忘れなければ | ゲートが非ゼロで終了し、CI ジョブが失敗します：ルールが失敗すれば 1、証拠で判定できなければ 3 |
| リスク部門や顧客に何を見せるか？ | スレッドに貼られたスクリーンショット | エクスポートしたバンドル：実行と、そのスイート、システム、評価器、ケース、承認 |
| 最初のシグナルまでの時間 | 数分 | ローカルでは数分、その後は CI が実行するすべての変更で |
スポットチェックがまだ勝る場面
初期の探索、ひとつの奇妙な出力のデバッグ、プロンプトを書きながらの基本的な確認。これは続けてください。評価スイートは、その振る舞いが擁護すべきほど重要になったときに作るものです。