跳至主要內容

第二意見

你的評測分數上升了。這是真的嗎?

上傳另一工具在變更前後給你的系統打出的逐案例分數。Oloproof 會告訴你上升是否真實、再需要多少案例才能定論,以及是否有人核對過給出這些分數的評審模型。無需帳戶,無需安裝。

CSV 或 JSON Lines,每個案例和標準一列:只含案例 ID 和分數。帶有任何其他欄位的檔案會在送出之前就在這裡被拒絕。

檔案包含什麼

欄位內容
case_id案例的 ID。兩個檔案只在雙方都包含的 ID 上配對。
criterion指標的名稱。
score指標量表上的一個數值;如果工具沒有為該案例評分,則留空。
passed用 true 或 false 代替分數,或留空。
score_min, score_max分數所在的量表(大多數工具為 0 和 1),有分數時必填。
judge, judge_version進行評判的模型(如果由模型評判)。選填。

一個簡短的腳本即可把各工具的結果轉換成這種檔案:DeepEval、Braintrust、LangSmith 和 Langfuse。 各工具的配方

檔案會怎樣處理

在你的瀏覽器中檢查。 帶有這些欄位之外的欄位的檔案會在送出任何內容之前被拒絕,因此任何問題或回答都不會離開你的電腦。

由引擎判定。 就是 oloproof scores import 執行的那個引擎:每個檔案成為一次執行,兩次執行逐案例比較,並檢定每個標準是否有高於零的上升。

不儲存在任何地方。 檔案和執行存放在暫存區中,在答案傳回之前即被刪除。每個檔案最多 2 MB、20,000 個分數。