指南
從這裡開始
Oloproof 做什麼、何時該用、何時不該用，以及閱讀這些指南的順序：從對一個應用的第一次評估，到比較版本、審核、CI 和精確的契約。
Oloproof 做什麼
Oloproof 在一組固定的案例上執行你的 AI 應用，用你選擇的評估器檢查每個輸出，並把結果轉化為帶區間的比率。隨後，你編寫的發布政策把每條規則判定為 PASS、FAIL、INSUFFICIENT_EVIDENCE 或 MANUAL_REVIEW，命令以該決策作為結束代碼，CI 便可以使用它。一切都在你的機器上執行；除非你把一次執行推送到託管工作區，否則任何資料都不會離開它。這些術語在核心概念中有定義。
當你需要知道一個應用在你信任的案例上是否達到了既定標準、這個回答有多可靠、以及一次變更讓它變好還是變差時，就用它。Oloproof 呼叫你的系統；它不託管、不隔離也不重置你的系統，你的應用自己負責其狀態、會話和工具副作用。關於針對每類系統哪些已經建置、哪些尚未建置，請在投入使用之前閱讀目前可用的功能。
這些指南描述的是 Oloproof 0.1.0a5。pip show oloproof 會印出你已安裝的版本；較舊的版本可能缺少這裡展示的某個命令或標誌，例如 oloproof init --example，而 pip install --upgrade --pre oloproof 會把它更新到最新。
使用路線
| 步驟 | 你要做的事 | 閱讀 |
|---|---|---|
| 1 | 瞭解 Oloproof 做什麼以及何時使用 | 本頁、核心概念、目前可用的功能 |
| 2 | 評估你的第一個應用，不需要基準 | 快速入門 |
| 3 | 為你的系統類型選擇一份指南 | 下面的表格 |
| 4 | 檢視失敗並理解結果 | 套件、錯誤、叢集案例、切片 |
| 5 | 修改系統並比較版本 | 比較、比較規則 |
| 6 | 加入人工審核、協作和 CI | 評審、閘門、CI、通知 |
| 7 | 查閱精確的技術契約 | 設定、SDK 參考、結果、CLI |
第一次評估不需要基準：它問的是你的應用的一個版本是否滿足你的要求。比較兩個版本是第 5 步的事，等你有了一次值得拿來比較的執行之後。
選擇你的系統類型
| 你的系統 | 從這裡開始 |
|---|---|
| 分類器、路由器或結構化輸出（一個標籤、一個 JSON 物件） | 分類 |
| 自由文字：回答、摘要、資訊抽取 | 文字生成 |
| 通過 HTTP 訪問的服務，任何語言均可 | HTTP 端點 |
| 檢索增強生成 | RAG |
| 使用工具的代理，或多個代理 | 代理 |
| 訓練好的預測模型（分類或迴歸） | 預測模型 |
| 多輪對話 | 對話 |
圖像、音頻和視頻沒有原生支援：案例可以通過你的系統攜帶一個 URL 或編碼後的檔案，自定義評估器可以檢查輸出，但評審只能看到 JSON 文字。