Skip to content

比較

Oloproof 與臨時性提示詞測試的比較。

在 playground 中抽查既快速又確實有用,適合探索階段。一旦變更交付給使用者,它就不夠用了。

團隊針對一次變更會提出的問題,分別由 playground 抽查與 Oloproof 來回答
問題Playground 抽查Oloproof
品質改變了嗎?看了幾筆輸出後的感覺基於配對案例的差值及其 95% 區間,並依據該區間做出決定
對誰產生了變化?未知依宣告的切片:語言、意圖或任何中繼資料鍵、代理呼叫的第一個工具、它的路由
下一季還能重新執行嗎?不能:提示詞和案例都已不在了能:套件、系統版本與評估器版本都依內容定址,樣本會保留其隨機種子
它能擋下一次糟糕的發布嗎?只有在有人記得去看的時候閘門以非零狀態結束,CI 工作失敗:規則失敗時為 1,證據無法判定時為 3
您拿什麼給風險部門或客戶看?討論串裡的截圖一份匯出的資料包:執行本身及其套件、系統、評估器、案例與簽核
取得第一個訊號所需的時間幾分鐘本機幾分鐘,之後在您的 CI 執行它的每一次變更上

抽查仍然更勝一籌的場合

早期探索、除錯某一筆奇怪的輸出,以及撰寫提示詞時的基本檢查。請繼續這樣做。當行為重要到需要為它辯護時,就該建立評估套件了。