Ý kiến thứ hai
Điểm eval của bạn đã tăng. Có thật không?
Tải lên điểm theo từng case mà một công cụ khác đã chấm cho hệ thống của bạn trước và sau một thay đổi. Oloproof cho biết mức tăng có thật hay không, cần thêm bao nhiêu case để quyết định, và đã có ai kiểm tra judge chấm những điểm đó hay chưa. Không cần tài khoản, không cần cài đặt.
Một tệp chứa gì
| Cột | Nội dung |
|---|---|
| case_id | Id của case. Hai tệp chỉ ghép cặp trên id có trong cả hai. |
| criterion | Tên của chỉ số. |
| score | Một số trên thang của chỉ số, hoặc để trống nếu công cụ không chấm case đó. |
| passed | true hoặc false thay cho điểm, hoặc để trống. |
| score_min, score_max | Thang mà điểm nằm trên đó (0 và 1 với hầu hết công cụ), bắt buộc khi có điểm. |
| judge, judge_version | Mô hình đã chấm, nếu do một mô hình chấm. Không bắt buộc. |
Một đoạn script ngắn chuyển kết quả của mỗi công cụ thành tệp này: DeepEval, Braintrust, LangSmith và Langfuse. Công thức cho từng công cụ
Điều gì xảy ra với chúng
Được kiểm tra trong trình duyệt của bạn. Tệp có cột nằm ngoài các cột này sẽ bị từ chối trước khi bất cứ thứ gì được gửi đi, nên không câu hỏi hay câu trả lời nào rời khỏi máy của bạn.
Do engine quyết định. Chính engine mà oloproof scores import chạy: mỗi tệp trở thành một lần chạy, hai lần chạy được so sánh từng case, và mỗi tiêu chí được kiểm định xem có mức tăng trên không hay không.
Không lưu ở đâu cả. Các tệp và lần chạy nằm trong một kho tạm thời, bị xóa trước khi câu trả lời được trả về. Tối đa 2 MB và 20.000 điểm mỗi tệp.