가이드
평가가 알려 줄 수 없는 것
Oloproof의 모든 결과는 한계를 밝힌 측정된 주장입니다. 이 페이지는 모든 종류의 시스템에 해당하는 한계를 나열합니다. 시스템별 각 가이드 페이지는 "이것이 알려 줄 수 없는 것" 아래에 자체 한계를 더합니다.
어떤 결과도 알려 주지 않는 것
- 스위트와 다른 입력. 결정은 스위트가 표본으로 삼는 모집단에 대한 주장이며, 스위트가 시스템이 마주칠 것의 공정한 표본인 만큼만 좋습니다. Oloproof는 그것을 확인할 수 없으며, 새로운 종류의 입력이나 다음 달의 트래픽은 그 밖에 있습니다(결과가 어디까지 미치는가).
- 검사가 결코 실패하지 않는다는 것. 300개 케이스 모두에서 통과한 검사는 얼마나 자주 실패하는지를 제한하지만(95% 신뢰도에서 최대 약 1.2%), 증명은 아닙니다.
- 다음에 시스템이 어떻게 답할지. replicates:를 요청하지 않는 한, 실행은 케이스마다 하나의 답변을 측정합니다(스위트 작성하기).
- 확인되지 않은 판정자의 점수가 무엇을 뜻하는지. 사람의 라벨과 한 번도 비교되지 않은 판정자는 UNVALIDATED로 남으며, 그 통과율은 판정자의 의견입니다. require_validated_evaluators: true가 있는 정책은 그것이 결정하도록 허용하지 않습니다(판정자).
- "아직 확립되지 않음"이라고 할 때 규칙이 실패했다는 것. INSUFFICIENT_EVIDENCE는 구간이 아직 기준선에 걸쳐 있다는 뜻이지, 시스템이 기준에 못 미쳤다는 뜻이 아닙니다. oloproof plan은 몇 개의 케이스가 더 있으면 결정되는지 알려 줍니다.
- 규칙이 요구하지 않는 한, 비용이나 지연 시간. 릴리스 결정은 정책이 선언한 규칙을 다룹니다. 지연 시간 분위수나 수락된 작업당 비용에 대한 예산은 여러분이 추가하는 max: 규칙입니다(게이팅).
- 재사용된 답이 여전히 최신인지. 캐시된 출력이나 판정은 이전 것으로, 입력의 해시가 같기 때문에 재사용됩니다. 해시가 볼 수 없는 변경(같은 이름 뒤에서 바뀐 모델, 시스템이 읽지만 가져오지 않는 파일, 환경 변수)은 보이지 않습니다(버전, 캐시 키, 무효화).
- 살펴본 뒤에 고른 슬라이스. 슬라이스 결과는 여러분이 선언한 슬라이스에 대해 선언된 보정 아래의 주장입니다. 흥미로워 보여서 고른 절단에는 그런 보장이 없으며, 슬라이스는 게이트를 결정하지 않습니다(슬라이스).
- 케이스가 왜 실패했는지. 평가기는 무슨 일이 있었는지를 말합니다. 원인에는 대조군 옆에서의 개입이 필요하며, 그때에도 Oloproof는 확립된 원인이 아니라 시험할 요인을 이름 붙입니다.
- 독립인 것처럼 다룬, 시간 순서로 놓인 케이스. time_order를 선언한 스위트는 독립 케이스를 가정하는 구간 대신 MANUAL_REVIEW가 됩니다(클러스터된 케이스).
- 인정된 구간이 없는 지표. 그것이 필요한 규칙은 검증되지 않은 방법을 빌리는 대신 사유와 함께 MANUAL_REVIEW 또는 INSUFFICIENT_EVIDENCE를 반환합니다.