비교

Oloproof와 즉흥적인 프롬프트 테스트.

플레이그라운드에서 훑어보는 것은 빠르고, 탐색하는 동안에는 정말 유용합니다. 하지만 변경이 사용자에게 배포되는 순간 그것만으로는 충분하지 않습니다.

팀이 변경에 대해 묻는 질문과, 플레이그라운드에서 훑어보기 및 Oloproof가 각각 내놓는 답
질문	플레이그라운드에서 훑어보기	Oloproof
품질이 바뀌었는가?	출력 몇 개에서 얻은 느낌	짝지은 케이스에 대한 차이와 그 95% 구간, 그리고 그 구간에 근거한 결정
누구에게 바뀌었는가?	알 수 없음	선언한 슬라이스별: 언어, 의도 또는 임의의 메타데이터 키, 에이전트가 처음 호출한 도구, 그 경로
다음 분기에 다시 실행할 수 있는가?	아니요: 프롬프트도 케이스도 남아 있지 않습니다	예: 스위트, 시스템 버전, 평가기 버전이 콘텐츠 주소로 관리되며, 샘플은 시드를 보존합니다
나쁜 릴리스를 막아 주는가?	누군가 확인하는 것을 잊지 않을 때만	게이트가 영이 아닌 코드로 종료되고 CI 작업이 실패합니다: 규칙이 실패하면 1, 근거로 결정할 수 없으면 3
리스크 담당자나 고객에게 무엇을 보여 주는가?	스레드에 올린 스크린샷	내보낸 번들: 실행과 그 스위트, 시스템, 평가기, 케이스, 승인
첫 신호까지 걸리는 시간	몇 분	로컬에서는 몇 분, 그 뒤에는 CI가 실행하는 모든 변경마다

초기 탐색, 이상한 출력 하나의 디버깅, 프롬프트를 작성하면서 하는 기본 점검. 계속 하십시오. 평가 스위트는 그 동작이 지켜 낼 만큼 중요해졌을 때 만드는 것입니다.