Guide

Revisione umana

Le vostre persone possono etichettare le risposte del vostro sistema in Oloproof, e le loro etichette possono decidere da sole un rilascio o verificare il giudice che lo decide. Questa pagina raccoglie ciò che esiste e dove ogni parte è spiegata per intero.

Cosa possono etichettare le persone

Superato, non superato o non si può dire su un criterio, caso per caso.
Un punteggio su una scala a scelta, per esempio da 1 a 5.
Una preferenza tra le risposte di due esecuzioni allo stesso caso, mostrate come A e B in un ordine che lo spazio di lavoro fissa con un lancio di moneta registrato, così chi revisiona non può sapere quale esecuzione è quale.
Superato o non superato su entrambe le risposte allo stesso caso, per confrontare due versioni in base al verdetto delle persone.

Accanto a ogni caso è mostrata una rubrica scritta per la coda.

Dove etichettano

Nel browser. In uno spazio di lavoro ospitato, un Owner o Admin apre una coda di revisione dalla pagina Review del progetto e assegna i revisori. Ogni revisore vede le code a lui assegnate ed etichetta con i pulsanti o i tasti P, F e C. Un verdetto da un account non assegnato alla coda viene rifiutato, e ogni verdetto è registrato sotto l'account del revisore.

Nel terminale. oloproof review RUN --criterion NAME --by YOU etichetta un caso per riga. Senza altre opzioni verifica il giudice in un colpo solo: un campione alla cieca dimensionato dalla vostra soglia, il giudice misurato rispetto alle vostre etichette e l'esecuzione decisa di nuovo.

In un foglio di calcolo. oloproof labels export RUN --criterion NAME --sample 50 scrive un CSV da compilare, e oloproof labels import registra tutte le righe compilate o nessuna. Usatelo per revisori che lavorano fuori da Oloproof, compreso un fornitore di etichettatura. Le etichette da file contano sulla vostra macchina, non nella verifica che uno spazio di lavoro fa di un campione estratto da sé.

Gestire una coda

Quando un Owner o un Admin apre una coda, ogni revisore riceve un'email che lo informa dell'assegnazione, a meno che non abbia disattivato le email di revisione. Una coda può avere una scadenza, mostrata sulla coda e nell'email; non decide nulla, e alla scadenza non viene inviato nulla. Nella pagina della coda, Owner e Admin vedono l'avanzamento di ogni revisore (casi completati e ultimo verdetto) e possono cambiare la scadenza.

I revisori di una coda di revisione possono essere cambiati in qualsiasi momento, e ognuno aggiunto riceve un'email. Quelli di una coda di misurazione no: fanno parte del suo campione casuale e solo le loro etichette vi contano, quindi altri revisori prendono una nuova coda con il proprio campione.

Due tipi di coda

Una coda di misura fa estrarre allo spazio di lavoro un campione casuale e nasconde il verdetto del giudice. Le sue etichette misurano il giudice, o decidono una regola con le sole persone. Una coda di revisione dei casi segnalati mostra il verdetto del giudice e chiude quei casi senza misurare nulla. Solo il primo tipo può rappresentare l'intera suite.

Quando i revisori non concordano

Un progetto può richiedere due o più revisori per caso campionato, contati per account. Quando divergono su un superato o non superato, lo spazio di lavoro non decide nulla finché un Owner o Admin che non ha etichettato alcuna parte di quel caso non lo risolve, nella pagina della coda o in quella dell'esecuzione. Quanto spesso le persone concordano tra loro è mostrato accanto a ogni valutatore, come quota di coppie di revisori in accordo, con il suo intervallo, e come alfa di Krippendorff, che corregge quella quota per l'accordo che il solo caso darebbe su un criterio che la maggior parte delle risposte supera: 1 è accordo perfetto e 0 è il caso. L'alfa è dato con un intervallo a partire da 300 casi etichettati da due o più persone; sotto questa soglia è mostrato da solo, con il motivo. Non decide nulla.

Una coda di misura superato o non superato con tre o più revisori può invece essere letta a maggioranza, scelta all'apertura. Il primo verdetto di ciascun revisore è il suo voto; un caso conta non appena più della metà dei suoi revisori concorda, e un pareggio attende che un Owner o Admin lo risolva. Le code superato o non superato di un'esecuzione su uno stesso criterio sono tutte lette allo stesso modo.

Punteggi, preferenze e superato o non superato su due esecuzioni non richiedono questa scelta: il valore di ciascun caso è la media su tutti i revisori che lo hanno etichettato, così un disaccordo sposta il valore invece di attendere di essere risolto, e un revisore severo o indulgente fa parte di ciò che la risposta misura.

Etichette da un fornitore

Una coda di misura superato o non superato o di punteggi può essere etichettata dagli annotatori di un fornitore invece che dai membri. Apritela con «Etichettata da un fornitore» e i nomi degli annotatori. Nella pagina della coda, scaricate il foglio (una riga per caso estratto e annotatore, da compilare con superato o non superato, o con un punteggio sulla scala della coda), consegnatelo al fornitore con le risposte da mostrare e caricate il CSV o XLSX restituito. Ogni riga viene controllata: un caso che la coda non ha estratto, un annotatore che non nomina o un secondo verdetto di un annotatore su uno stesso caso rifiuta l'intero file.

Ciascun annotatore conta allora come revisore con il proprio nome, così accordo, alpha, accuratezza sulle chiavi di risposta e maggioranza lo leggono tutti. Assegnate prima una chiave ad alcuni casi per verificare gli annotatori di un fornitore prima di fidarvene; la loro accuratezza è riportata e non decide nulla. Lo spazio di lavoro conosce il file che ha ricevuto, non chi lo ha guardato: ogni etichetta nomina l'account che l'ha caricata.

Chiavi di risposta e accuratezza dei revisori

Un Owner o Admin può assegnare una chiave ad alcuni casi di una coda superato o non superato: apra un caso e gli dia la chiave superato o non superato. Solo un Owner o Admin a cui la coda non è assegnata vede le chiavi, quindi i revisori non sanno quali casi hanno una chiave. La pagina Revisione mostra poi, a Owner e Admin, la quota di risposte con chiave di ogni revisore che concordava con la chiave, con il suo intervallo, e lo stesso per mese.

Conta il primo superato o non superato di un revisore sulla risposta con chiave; «non so dire» è mostrato accanto, le risoluzioni e i verdetti dell'autore della chiave sono esclusi, e una chiave riguarda una sola risposta, quindi un verdetto sulla risposta di un'altra esecuzione allo stesso caso non viene confrontato. Una chiave non è mai un'etichetta e non decide nulla. L'intervallo legge i casi con chiave come un campione casuale di casi simili; chiavi scelte a mano non lo sono, quindi va letto come l'accuratezza su questi casi.

Le etichette delle persone decidono un rilascio

human_score: il punteggio che le persone danno all'intera suite, dai casi che hanno valutato.
human_preference: se le persone preferiscono il candidato alla baseline, e di quanto.
human_difference: di quanto più spesso le persone promuovono il candidato rispetto alla baseline.
judge_bias_bar: un confronto deciso da un giudice passa a una persona, a meno che le etichette delle persone mostrino che il giudice tratta allo stesso modo le due versioni.

Ciascuna si dichiara in release.yaml o compare.yaml ed è spiegata, con il suo metodo e ciò che non può affermare, in Giudici. Un caso che nessuno ha etichettato conta al suo valore peggiore, quindi lasciare senza etichetta i casi difficili non aiuta mai.

Non ancora costruito

Queste parti oggi non esistono:

un fornitore che etichetti una coda di revisione, preferenze, o superato o non superato su due esecuzioni: ciascuna mostra a un revisore due risposte in un ordine che lo spazio di lavoro fissa per ogni revisore, e un file fatto fuori da Oloproof non può mantenerlo.

Oloproof non fornisce revisori né si collega agli strumenti propri di un fornitore.