사람의 검토

여러분의 팀원이 Oloproof에서 시스템의 답변에 레이블을 달 수 있으며, 그 레이블은 단독으로 릴리스를 결정하거나 릴리스를 결정하는 심사 모델을 검증할 수 있습니다. 이 페이지는 현재 있는 기능과 각 부분이 자세히 설명된 곳을 모아 둡니다.

사람이 레이블을 달 수 있는 것

• 하나의 기준에 대한 케이스별 통과, 실패 또는 판단 불가.
• 1에서 5처럼 직접 고른 척도의 점수.
• 같은 케이스에 대한 두 실행의 답변 사이의 선호. 답변은 워크스페이스가 기록된 동전 던지기로 정한 순서에 따라 A와 B로 표시되므로, 검토자는 어느 실행이 어느 것인지 알 수 없습니다.
• 같은 케이스의 두 답변 모두에 대한 통과 또는 실패. 사람의 판정으로 두 버전을 비교할 때 씁니다.

큐를 위해 작성된 루브릭이 각 케이스 옆에 표시됩니다.

어디에서 레이블을 다는가

브라우저에서. 호스팅 워크스페이스에서 Owner 또는 Admin이 프로젝트의 Review 페이지에서 검토 큐를 열고 검토자를 배정합니다. 각 검토자는 자신에게 배정된 큐를 보고 버튼이나 P, F, C 키로 레이블을 답니다. 큐에 배정되지 않은 계정의 판정은 거부되며, 각 판정은 검토자 본인의 계정으로 기록됩니다.

터미널에서. oloproof review RUN --criterion NAME --by YOU는 한 줄에 한 케이스씩 레이블을 답니다. 다른 옵션이 없으면 심사 모델을 한 번에 검증합니다. 기준값에 맞춘 크기의 블라인드 표본, 여러분의 레이블에 대해 측정된 심사 모델, 그리고 다시 결정된 실행입니다.

스프레드시트에서. oloproof labels export RUN --criterion NAME --sample 50은 채워 넣을 CSV를 쓰고, oloproof labels import는 채워진 행을 모두 기록하거나 하나도 기록하지 않습니다. 레이블링 업체를 포함해 Oloproof 밖에서 일하는 검토자에게 사용하세요. 파일에서 온 레이블은 여러분의 컴퓨터에서 집계되며, 워크스페이스가 직접 뽑은 표본을 스스로 검증할 때는 집계되지 않습니다.

큐 운영하기

Owner 또는 Admin이 큐를 열면, 검토 이메일을 끄지 않은 각 검토자에게 배정되었다는 이메일이 발송됩니다. 큐에는 마감일을 둘 수 있으며, 큐와 이메일에 표시됩니다. 마감일은 아무것도 결정하지 않으며, 지나도 아무것도 발송되지 않습니다. 큐 페이지에서 Owner와 Admin은 각 검토자의 진행 상황(완료한 사례와 마지막 판정)을 보고 마감일을 변경할 수 있습니다.

검토 큐의 검토자는 언제든지 바꿀 수 있으며, 추가된 검토자마다 이메일을 받습니다. 측정 큐의 검토자는 바꿀 수 없습니다. 이들은 큐의 무작위 표본의 일부이고 그 큐에서는 이들의 레이블만 집계되므로, 다른 검토자는 자체 표본을 가진 새 큐를 맡습니다.

두 종류의 큐

측정 큐는 워크스페이스가 무작위 표본을 뽑게 하고 심사 모델의 판정을 숨깁니다. 그 레이블은 심사 모델을 측정하거나, 사람만으로 규칙을 결정합니다. 표시된 케이스의 검토 큐는 심사 모델의 판정을 보여 주고 아무것도 측정하지 않은 채 그 케이스들을 처리합니다. 전체 스위트를 대표할 수 있는 것은 첫 번째 종류뿐입니다.

검토자의 의견이 갈릴 때

프로젝트는 표본 케이스마다 계정 기준으로 두 명 이상의 검토자를 요구할 수 있습니다. 통과 또는 실패에서 의견이 갈리면, 그 케이스에 아무 레이블도 달지 않은 Owner 또는 Admin이 큐 페이지나 실행 페이지에서 해결할 때까지 워크스페이스는 아무것도 결정하지 않습니다. 사람끼리 얼마나 자주 일치하는지는 각 평가기 옆에 일치한 검토자 쌍의 비율로, 그 구간과 함께 표시되고, Krippendorff의 알파로도 표시됩니다. 알파는 대부분의 답이 통과하는 기준에서 우연만으로도 생길 일치를 그 비율에서 보정한 값으로, 1은 완전한 일치이고 0은 우연입니다. 두 명 이상이 레이블을 단 케이스가 300개 이상이면 구간과 함께 제시되고, 그보다 적으면 이유와 함께 알파만 표시됩니다. 알파는 아무것도 결정하지 않습니다.

검토자가 세 명 이상인 통과 또는 실패 측정 큐는 대신 다수결로 읽을 수 있으며, 이는 큐를 열 때 선택합니다. 각 검토자의 첫 판정이 그 사람의 표이며, 케이스는 검토자의 절반을 넘는 사람이 동의하면 집계되고, 동률은 Owner 또는 Admin이 해결할 때까지 기다립니다. 한 실행에서 한 기준에 대한 통과 또는 실패 큐는 모두 같은 방식으로 읽힙니다.

점수, 선호, 두 실행에 대한 통과 또는 실패에는 이런 선택이 필요 없습니다. 각 케이스의 값은 레이블을 단 모든 검토자의 평균이므로, 이견은 해결을 기다리는 대신 값을 움직이고, 엄격하거나 관대한 검토자도 답이 측정하는 것의 일부가 됩니다.

업체의 레이블

통과 또는 실패나 점수 측정 큐는 멤버 대신 업체의 평가자가 레이블을 달 수 있습니다. "업체가 레이블링"과 평가자 이름으로 큐를 여세요. 큐 페이지에서 시트(추출된 케이스와 평가자마다 한 행으로, 통과 또는 실패나 큐의 척도에 따른 점수를 채웁니다)를 내려받아 보여 줄 답변과 함께 업체에 전달하고, 돌려받은 CSV 또는 XLSX를 업로드하세요. 모든 행이 검사됩니다. 큐가 추출하지 않은 케이스, 큐가 지정하지 않은 평가자, 또는 한 평가자가 한 케이스에 내린 두 번째 판정이 있으면 파일 전체가 거부됩니다.

그러면 각 평가자는 이름으로 검토자 한 명으로 집계되므로 일치도, 알파, 정답 키에 대한 정확도와 다수결이 모두 그들을 읽습니다. 업체의 평가자에게 의존하기 전에 먼저 몇몇 케이스에 정답 키를 달아 확인하세요. 그들의 정확도는 보고될 뿐 아무것도 판정하지 않습니다. 워크스페이스는 받은 파일을 알 뿐 누가 보았는지는 모릅니다. 각 레이블에는 그것을 업로드한 계정이 기록됩니다.

정답 키와 검토자 정확도

Owner 또는 Admin은 통과 또는 실패 큐의 일부 케이스에 키를 지정할 수 있습니다. 케이스를 열고 통과 또는 실패로 키를 지정하세요. 키는 해당 큐에 배정되지 않은 Owner 또는 Admin만 볼 수 있으므로, 검토자는 어떤 케이스에 키가 있는지 알지 못합니다. 그러면 검토 페이지가 Owner와 Admin에게 각 검토자의 키가 있는 답변 중 키와 일치한 비율을 구간과 함께, 그리고 월별로도 보여줍니다.

키가 있는 답변에 대한 검토자의 첫 통과 또는 실패가 집계됩니다. "판단할 수 없음"은 그 옆에 표시되고, 해결과 키 작성자 본인의 판정은 제외되며, 키는 하나의 답변에 관한 것이므로 같은 케이스에 대한 다른 실행의 답변에 내린 판정은 비교되지 않습니다. 키는 결코 레이블이 아니며 아무것도 결정하지 않습니다. 구간은 키가 있는 케이스를 비슷한 케이스의 무작위 표본으로 읽습니다. 손으로 고른 키는 그렇지 않으므로, 이 케이스들에서의 정확도로 읽으세요.

사람의 레이블이 릴리스를 결정

• human_score: 사람이 점수를 매긴 케이스로부터 본, 전체 스위트에 대한 사람의 점수.
• human_preference: 사람이 후보를 기준선보다 선호하는지, 그리고 얼마나.
• human_difference: 사람이 후보를 기준선보다 얼마나 더 자주 통과시키는지.
• judge_bias_bar: 심사 모델이 결정한 비교는, 사람의 레이블이 심사 모델이 두 버전을 똑같이 다룬다는 것을 보여 주지 않는 한 사람에게 넘어갑니다.

각각은 release.yaml 또는 compare.yaml에서 선언하며, 방법과 주장할 수 없는 것은 심사 모델에서 설명합니다. 아무도 레이블을 달지 않은 케이스는 최악의 값으로 계산되므로, 어려운 케이스를 레이블 없이 두어도 결코 도움이 되지 않습니다.

아직 구현되지 않음

다음은 현재 존재하지 않습니다.

• 업체가 리뷰 큐, 선호 또는 두 실행에 대한 통과 또는 실패에 레이블을 다는 것. 이들은 모두 워크스페이스가 검토자마다 정한 순서로 검토자에게 두 답변을 보여 주는데, Oloproof 밖에서 만든 파일은 그 순서를 지킬 수 없습니다.

Oloproof는 검토자를 제공하지 않으며 업체 자체 도구와 연결되지 않습니다.