Menselijke beoordeling

Uw eigen mensen kunnen de antwoorden van uw systeem in Oloproof labelen, en hun labels kunnen op zichzelf over een release beslissen of de judge controleren die erover beslist. Deze pagina zet op een rij wat er bestaat en waar elk onderdeel volledig wordt uitgelegd.

Wat mensen kunnen labelen

• Geslaagd, gezakt of niet te zeggen op één criterium, geval voor geval.
• Een score op een schaal die u kiest, zoals 1 tot 5.
• Een voorkeur tussen de antwoorden van twee runs op hetzelfde geval, getoond als A en B in een volgorde die de workspace vastlegt met een vastgelegde muntworp, zodat de beoordelaar niet kan zien welke run welke is.
• Geslaagd of gezakt voor beide antwoorden op hetzelfde geval, om twee versies te vergelijken op het oordeel van mensen.

Naast elk geval staat een voor de wachtrij geschreven rubric.

Waar ze labelen

In de browser. In een gehoste workspace opent een Owner of Admin een reviewwachtrij vanaf de Review-pagina van het project en wijst beoordelaars toe. Elke beoordelaar ziet de wachtrijen die aan hem zijn toegewezen en labelt met de knoppen of de toetsen P, F en C. Een oordeel van een account dat niet aan de wachtrij is toegewezen wordt geweigerd, en elk oordeel wordt vastgelegd onder het eigen account van de beoordelaar.

In de terminal. oloproof review RUN --criterion NAME --by YOU labelt één geval per regel. Zonder andere optie controleert het de judge in één keer: een blinde steekproef waarvan de grootte uit uw drempel volgt, de judge gemeten tegen uw labels, en de run opnieuw beslist.

In een spreadsheet. oloproof labels export RUN --criterion NAME --sample 50 schrijft een CSV om in te vullen, en oloproof labels import legt alle ingevulde rijen vast of geen enkele. Gebruik het voor beoordelaars die buiten Oloproof werken, ook een labelingleverancier. Labels uit een bestand tellen op uw machine, niet in de eigen controle van een workspace op een steekproef die hij zelf trok.

Een wachtrij beheren

Wanneer een Owner of Admin een wachtrij opent, krijgt elke beoordelaar een e-mail dat hij is toegewezen, tenzij hij beoordelingsmails heeft uitgezet. Een wachtrij kan een deadline hebben, getoond op de wachtrij en in de e-mail; die beslist niets, en er wordt niets verstuurd als ze verstrijkt. Op de pagina van de wachtrij zien Owners en Admins de voortgang van elke beoordelaar (afgeronde cases en zijn laatste oordeel) en kunnen ze de deadline wijzigen.

De beoordelaars van een beoordelingswachtrij kunnen altijd worden gewijzigd, en elke toegevoegde krijgt een e-mail. Die van een meetwachtrij niet: ze horen bij haar willekeurige steekproef en alleen hun labels tellen erop, dus andere beoordelaars nemen een nieuwe wachtrij met een eigen steekproef.

Twee soorten wachtrijen

Een meetwachtrij laat de workspace een willekeurige steekproef trekken en verbergt het oordeel van de judge. De labels meten de judge, of beslissen een regel door mensen alleen. Een reviewwachtrij van gemarkeerde gevallen toont het oordeel van de judge en handelt die gevallen af zonder iets te meten. Alleen de eerste soort kan voor de hele suite staan.

Als beoordelaars het oneens zijn

Een project kan twee of meer beoordelaars per steekproefgeval eisen, geteld per account. Zijn ze het oneens over geslaagd of gezakt, dan beslist de workspace niets totdat een Owner of Admin die niets van dat geval heeft gelabeld het oplost, op de wachtrijpagina of de runpagina. Hoe vaak mensen het met elkaar eens zijn staat naast elke evaluator, als aandeel van de paren beoordelaars die het eens waren, met het interval, en als Krippendorffs alfa, die dat aandeel corrigeert voor de overeenstemming die toeval alleen zou geven bij een criterium dat de meeste antwoorden halen: 1 is perfecte overeenstemming en 0 is toeval. Alfa wordt met een interval gegeven vanaf 300 gevallen die door twee of meer mensen zijn gelabeld; daaronder wordt het alleen getoond, met de reden. Het beslist niets.

Een meetwachtrij voor geslaagd of gezakt met drie of meer beoordelaars kan in plaats daarvan bij meerderheid worden gelezen, gekozen bij het openen. Het eerste oordeel van elke beoordelaar is diens stem; een geval telt zodra meer dan de helft van zijn beoordelaars het eens is, en een gelijke stand wacht tot een Owner of Admin die beslecht. De wachtrijen voor geslaagd of gezakt van een run op één criterium worden allemaal op dezelfde manier gelezen.

Scores, voorkeuren en geslaagd of gezakt op twee runs hebben zo'n keuze niet nodig: de waarde van elk geval is het gemiddelde over alle beoordelaars die het labelden, zodat een onenigheid de waarde verschuift in plaats van te wachten op beslechting, en een strenge of milde beoordelaar deel uitmaakt van wat het antwoord meet.

Labels van een leverancier

Een meetwachtrij voor geslaagd of gezakt of voor scores kan door de beoordelaars van een leverancier worden gelabeld in plaats van door leden. Open hem met 'Gelabeld door een leverancier' en de namen van de beoordelaars. Download op de pagina van de wachtrij het blad (een rij per getrokken geval en beoordelaar, in te vullen met geslaagd of gezakt, of een score op de schaal van de wachtrij), geef het aan de leverancier met de antwoorden die getoond moeten worden en upload het teruggestuurde CSV- of XLSX-bestand. Elke rij wordt gecontroleerd: een geval dat de wachtrij niet trok, een beoordelaar die hij niet noemt, of een tweede oordeel van één beoordelaar over één geval weigert het hele bestand.

Elke beoordelaar telt dan bij naam als beoordelaar, zodat overeenstemming, alpha, nauwkeurigheid op antwoordsleutels en de meerderheid hem allemaal lezen. Geef eerst een paar gevallen een sleutel om de beoordelaars van een leverancier te controleren voordat u op hen vertrouwt; hun nauwkeurigheid wordt gerapporteerd en beslist niets. De workspace kent het bestand dat hij kreeg, niet wie er heeft gekeken: elk label noemt het account dat het uploadde.

Antwoordsleutels en nauwkeurigheid van beoordelaars

Een Owner of Admin kan sommige gevallen van een geslaagd-of-gezakt-wachtrij een sleutel geven: open een geval en geef het de sleutel geslaagd of gezakt. Alleen een Owner of Admin aan wie de wachtrij niet is toegewezen ziet de sleutels, zodat beoordelaars niet weten welke gevallen een sleutel hebben. De pagina Beoordeling toont Owners en Admins daarna per beoordelaar het aandeel antwoorden met sleutel dat met de sleutel overeenkwam, met het interval, en hetzelfde per maand.

Het eerste geslaagd of gezakt van een beoordelaar op het antwoord met sleutel telt; "niet te zeggen" staat ernaast, beslechtingen en de eigen oordelen van de maker van de sleutel tellen niet mee, en een sleutel gaat over één antwoord, zodat een oordeel over het antwoord van een andere run op hetzelfde geval niet wordt vergeleken. Een sleutel is nooit een label en beslist niets. Het interval leest de gevallen met sleutel als een aselecte steekproef van vergelijkbare gevallen; met de hand gekozen sleutels zijn dat niet, lees het dus als de nauwkeurigheid op deze gevallen.

Labels van mensen beslissen over een release

• human_score: welke score mensen de hele suite geven, op basis van de gevallen die ze scoorden.
• human_preference: of mensen de kandidaat verkiezen boven de baseline, en hoeveel.
• human_difference: hoeveel vaker mensen de kandidaat laten slagen dan de baseline.
• judge_bias_bar: een vergelijking die een judge beslist gaat naar een mens, tenzij de labels van mensen laten zien dat de judge beide versies gelijk behandelt.

Elk wordt gedeclareerd in release.yaml of compare.yaml en uitgelegd, met de methode en wat het niet kan beweren, in Judges. Een geval dat niemand labelde telt op zijn slechtste waarde, dus de moeilijke gevallen ongelabeld laten helpt nooit.

Nog niet gebouwd

Dit bestaat vandaag niet:

• een leverancier die een reviewwachtrij, voorkeuren of geslaagd of gezakt op twee runs labelt: elk daarvan toont een beoordelaar twee antwoorden in een volgorde die de workspace per beoordelaar vastlegt, en een bestand dat buiten Oloproof is gemaakt kan die niet bewaren.

Oloproof levert geen beoordelaars en maakt geen verbinding met de eigen tools van een leverancier.