指南
評估無法告訴你的內容
每個 Oloproof 結果都是帶有明確限制的量測結論。本頁列出適用於各類系統的限制；每個依系統分類的指南頁在「這無法告訴你的」下補充各自的限制。
沒有任何結果能告訴你的
- 與套件不同的輸入。判定是關於套件所抽樣母體的結論，它的好壞取決於套件能否公平地代表你的系統將遇到的內容。Oloproof 無法檢查這一點；新類型的輸入或下個月的流量都在其範圍之外（結果能推廣多遠）。
- 某項檢查永遠不會失敗。在全部 300 個案例上通過的檢查界定了它失敗的頻率（在 95% 信賴度下至多約 1.2%）；這不是證明。
- 你的系統下一次會怎麼回答。除非你要求 replicates:，一次執行對每個案例只量測一個回答（撰寫測試套件）。
- 未經檢查的評審的分數意味著什麼。從未與人工標籤比較的評審保持 UNVALIDATED，其通過率只是評審的意見。帶有 require_validated_evaluators: true 的策略拒絕讓它做判定（評審）。
- 規則顯示「尚未確立」時就是失敗了。INSUFFICIENT_EVIDENCE 表示區間仍跨越門檻，而不是系統沒達到；oloproof plan 會告訴你還需要多少個案例才能判定。
- 成本或延遲，除非有規則要求。發布判定涵蓋你的策略宣告的規則；延遲分位數或每個被接受任務的成本的預算是你加入的 max: 規則（設閘）。
- 重用的答案是否仍是最新的。快取的輸出或判斷是先前那一個，因其輸入的雜湊相同而被重用；雜湊看不到的變化（同一名稱背後換了的模型、系統讀取但不匯入的檔案、環境變數）不會被看到（版本、快取鍵與失效）。
- 看過之後才選的切片。切片結果是在你所宣告切片的宣告校正下的主張；因為看起來有趣而挑出的切分不帶這樣的保證，而且切片從不設閘（切片）。
- 案例為何失敗。評估器說明發生了什麼；找出原因需要在對照旁進行介入，即便如此，Oloproof 指出的是一個有待檢驗的因素，而不是確立的原因。
- 把依時間排序的案例當作相互獨立。宣告了 time_order 的套件讀作 MANUAL_REVIEW，而不是假設案例獨立的區間（叢集案例）。
- 沒有已認可區間的指標。需要區間的規則會回傳 MANUAL_REVIEW 或 INSUFFICIENT_EVIDENCE 並附上原因，而不是借用未經驗證的方法。