두 번째 의견
평가 점수가 올랐습니다. 진짜일까요?
변경 전후에 다른 도구가 여러분의 시스템에 매긴 케이스별 점수를 업로드하세요. Oloproof는 상승이 진짜인지, 케이스가 몇 개 더 있으면 결론이 나는지, 그리고 점수를 매긴 저지를 누군가 확인했는지를 알려 줍니다. 계정도, 설치도 필요 없습니다.
파일에 담기는 것
| 열 | 담는 내용 |
|---|---|
| case_id | 케이스의 ID. 두 파일은 양쪽에 모두 있는 ID로만 짝지어집니다. |
| criterion | 지표의 이름. |
| score | 지표 척도 위의 숫자, 또는 도구가 그 케이스를 채점하지 않았다면 빈칸. |
| passed | 점수 대신 true 또는 false, 또는 빈칸. |
| score_min, score_max | 점수가 놓이는 척도(대부분의 도구는 0과 1), 점수가 있으면 필수. |
| judge, judge_version | 판정한 모델(모델이 판정했다면). 선택 사항. |
짧은 스크립트로 각 도구의 결과를 이 파일로 바꿀 수 있습니다: DeepEval, Braintrust, LangSmith, Langfuse. 도구별 레시피
파일은 어떻게 처리되나요
브라우저에서 확인합니다. 이 열들 밖의 열이 있는 파일은 무엇이든 전송되기 전에 거부되므로, 질문이나 답변이 여러분의 컴퓨터를 떠나는 일은 없습니다.
엔진이 판단합니다. oloproof scores import가 실행하는 것과 같은 엔진입니다. 각 파일은 하나의 실행이 되고, 두 실행은 케이스별로 비교되며, 각 기준에 대해 영보다 큰 상승이 있는지 검정합니다.
어디에도 보관하지 않습니다. 파일과 실행은 임시 저장소에 있다가 답이 돌아오기 전에 삭제됩니다. 파일당 최대 2 MB, 점수 20,000개까지.