比較
Oloproof 與臨時性提示詞測試的比較。
在 playground 中抽查既快速又確實有用,適合探索階段。一旦變更交付給使用者,它就不夠用了。
| 問題 | Playground 抽查 | Oloproof |
|---|---|---|
| 品質改變了嗎? | 看了幾筆輸出後的感覺 | 基於配對案例的差值及其 95% 區間,並依據該區間做出決定 |
| 對誰產生了變化? | 未知 | 依宣告的切片:語言、意圖或任何中繼資料鍵、代理呼叫的第一個工具、它的路由 |
| 下一季還能重新執行嗎? | 不能:提示詞和案例都已不在了 | 能:套件、系統版本與評估器版本都依內容定址,樣本會保留其隨機種子 |
| 它能擋下一次糟糕的發布嗎? | 只有在有人記得去看的時候 | 閘門以非零狀態結束,CI 工作失敗:規則失敗時為 1,證據無法判定時為 3 |
| 您拿什麼給風險部門或客戶看? | 討論串裡的截圖 | 一份匯出的資料包:執行本身及其套件、系統、評估器、案例與簽核 |
| 取得第一個訊號所需的時間 | 幾分鐘 | 本機幾分鐘,之後在您的 CI 執行它的每一次變更上 |
抽查仍然更勝一籌的場合
早期探索、除錯某一筆奇怪的輸出,以及撰寫提示詞時的基本檢查。請繼續這樣做。當行為重要到需要為它辯護時,就該建立評估套件了。