Revisão humana

Sua própria equipe pode rotular as respostas do seu sistema no Oloproof, e esses rótulos podem decidir uma publicação sozinhos ou verificar o juiz que a decide. Esta página reúne o que existe e onde cada parte é explicada por completo.

O que as pessoas podem rotular

• Aprovado, reprovado ou não dá para dizer em um critério, caso a caso.
• Uma nota em uma escala que você escolhe, como de 1 a 5.
• Uma preferência entre as respostas de duas execuções ao mesmo caso, mostradas como A e B em uma ordem que o espaço de trabalho fixa por uma moeda registrada, de modo que o revisor não pode saber qual execução é qual.
• Aprovado ou reprovado nas duas respostas ao mesmo caso, para comparar duas versões pelo veredito das pessoas.

Uma rubrica escrita para a fila aparece ao lado de cada caso.

Onde rotulam

No navegador. Em um espaço de trabalho hospedado, um Owner ou Admin abre uma fila de revisão na página Review do projeto e atribui revisores. Cada revisor vê as filas atribuídas a ele e rotula com os botões ou as teclas P, F e C. Um veredito de uma conta não atribuída à fila é recusado, e cada veredito é registrado na conta do próprio revisor.

No terminal. oloproof review RUN --criterion NAME --by YOU rotula um caso por linha. Sem outra opção, verifica o juiz de uma vez: uma amostra às cegas dimensionada pelo seu limiar, o juiz medido contra seus rótulos e a execução decidida de novo.

Em uma planilha. oloproof labels export RUN --criterion NAME --sample 50 grava um CSV para ser preenchido, e oloproof labels import registra todas as linhas preenchidas ou nenhuma. Use para revisores que trabalham fora do Oloproof, incluindo um fornecedor de rotulagem. Rótulos de um arquivo contam na sua máquina, não na verificação que um espaço de trabalho faz de uma amostra que ele mesmo sorteou.

Conduzindo uma fila

Quando um Owner ou Admin abre uma fila, cada revisor recebe um e-mail avisando que foi atribuído, a menos que tenha desativado os e-mails de revisão. Uma fila pode ter um prazo, mostrado na fila e no e-mail; ele não decide nada, e nada é enviado quando ele passa. Na página da fila, Owners e Admins veem o progresso de cada revisor (casos feitos e seu último veredito) e podem mudar o prazo.

Os revisores de uma fila de revisão podem ser trocados a qualquer momento, e cada um adicionado recebe um e-mail. Os de uma fila de medição não: eles fazem parte da sua amostra aleatória e só os rótulos deles contam nela, então outros revisores ficam com uma nova fila com sua própria amostra.

Dois tipos de fila

Uma fila de medição faz o espaço de trabalho sortear uma amostra aleatória e oculta o veredito do juiz. Seus rótulos medem o juiz, ou decidem uma regra apenas por pessoas. Uma fila de revisão de casos sinalizados mostra o veredito do juiz e resolve esses casos sem medir nada. Só o primeiro tipo pode representar a suíte inteira.

Quando os revisores discordam

Um projeto pode exigir dois ou mais revisores por caso amostrado, contados por conta. Quando discordam sobre aprovado ou reprovado, o espaço de trabalho não decide nada até que um Owner ou Admin que não rotulou nada daquele caso o resolva, na página da fila ou na da execução. Com que frequência as pessoas concordam entre si aparece ao lado de cada avaliador, como a proporção de pares de revisores que concordaram, com seu intervalo, e como o alfa de Krippendorff, que corrige essa proporção pela concordância que o acaso sozinho daria em um critério que a maioria das respostas aprova: 1 é concordância perfeita e 0 é acaso. O alfa é dado com um intervalo a partir de 300 casos rotulados por duas ou mais pessoas; abaixo disso, aparece sozinho, com o motivo. Ele não decide nada.

Uma fila de medição de aprovado ou reprovado com três ou mais revisores pode, em vez disso, ser lida por maioria, escolha feita ao abri-la. O primeiro veredito de cada revisor é o seu voto; um caso conta assim que mais da metade dos seus revisores concorda, e um empate espera que um Owner ou Admin o resolva. As filas de aprovado ou reprovado de uma execução sobre um mesmo critério são todas lidas da mesma forma.

Notas, preferências e aprovado ou reprovado em duas execuções não precisam dessa escolha: o valor de cada caso é a média de todos os revisores que o rotularam, de modo que uma discordância move o valor em vez de esperar ser resolvida, e um revisor rigoroso ou condescendente faz parte do que a resposta mede.

Rótulos de um fornecedor

Uma fila de medição de aprovado ou reprovado ou de notas pode ser rotulada pelos avaliadores de um fornecedor em vez de membros. Abra-a com "Rotulada por um fornecedor" e os nomes dos avaliadores. Na página da fila, baixe a planilha (uma linha por caso sorteado e avaliador, a preencher com aprovado ou reprovado, ou com uma nota na escala da fila), entregue-a ao fornecedor com as respostas a mostrar e envie o CSV ou XLSX devolvido. Cada linha é verificada: um caso que a fila não sorteou, um avaliador que ela não nomeia ou um segundo veredito de um avaliador sobre um mesmo caso recusa o arquivo inteiro.

Cada avaliador passa então a contar como um revisor pelo nome, de modo que concordância, alfa, acurácia nos gabaritos e maioria o leem. Dê gabarito a alguns casos primeiro para verificar os avaliadores de um fornecedor antes de confiar neles; a acurácia deles é relatada e não decide nada. O espaço de trabalho conhece o arquivo que recebeu, não quem olhou: cada rótulo nomeia a conta que o enviou.

Gabaritos e acurácia dos revisores

Um Owner ou Admin pode dar gabarito a alguns casos de uma fila de aprovado ou reprovado: abra um caso e marque o gabarito como aprovado ou reprovado. Só um Owner ou Admin a quem a fila não atribui vê os gabaritos, então os revisores não sabem quais casos têm gabarito. A página Revisão mostra então, a Owners e Admins, a proporção de respostas com gabarito de cada revisor que coincidiu com o gabarito, com seu intervalo, e o mesmo por mês.

Conta o primeiro aprovado ou reprovado de um revisor na resposta com gabarito; "não dá para dizer" aparece ao lado, resoluções e os veredictos do próprio autor do gabarito ficam de fora, e um gabarito se refere a uma resposta, então um veredicto sobre a resposta de outra execução ao mesmo caso não é comparado. Um gabarito nunca é um rótulo e não decide nada. O intervalo lê os casos com gabarito como uma amostra aleatória de casos parecidos; gabaritos escolhidos à mão não são uma, então leia-o como a acurácia nesses casos.

Rótulos de pessoas decidindo uma publicação

• human_score: a nota que as pessoas dão à suíte inteira, a partir dos casos que avaliaram.
• human_preference: se as pessoas preferem o candidato à linha de base, e por quanto.
• human_difference: quanto mais vezes as pessoas aprovam o candidato do que a linha de base.
• judge_bias_bar: uma comparação decidida por um juiz vai para uma pessoa, a menos que os rótulos das pessoas mostrem que o juiz trata as duas versões da mesma forma.

Cada um é declarado em release.yaml ou compare.yaml e explicado, com seu método e o que não pode afirmar, em Juízes. Um caso que ninguém rotulou conta pelo seu pior valor, então deixar os casos difíceis sem rótulo nunca ajuda.

Ainda não construído

Isto não existe hoje:

• um fornecedor rotulando uma fila de revisão, preferências, ou aprovado ou reprovado em duas execuções: cada uma mostra a um revisor duas respostas em uma ordem que o espaço de trabalho fixa para cada revisor, o que um arquivo feito fora do Oloproof não consegue manter.

O Oloproof não fornece revisores nem se conecta às ferramentas próprias de um fornecedor.