Ocena przez ludzi

Twoi ludzie mogą oznaczać odpowiedzi Twojego systemu w Oloproof, a ich etykiety mogą same rozstrzygnąć o wydaniu albo sprawdzić sędziego, który o nim rozstrzyga. Ta strona zbiera to, co istnieje, i wskazuje, gdzie każda część jest wyjaśniona w całości.

Co ludzie mogą oznaczać

• Zaliczone, niezaliczone lub nie wiadomo dla jednego kryterium, przypadek po przypadku.
• Ocenę na wybranej skali, na przykład od 1 do 5.
• Preferencję między odpowiedziami dwóch uruchomień na ten sam przypadek, pokazanymi jako A i B w kolejności ustalonej przez przestrzeń roboczą zapisanym rzutem monetą, tak że oceniający nie wie, które uruchomienie jest które.
• Zaliczone lub niezaliczone dla obu odpowiedzi na ten sam przypadek, aby porównać dwie wersje według werdyktu ludzi.

Obok każdego przypadku wyświetla się rubryka napisana dla kolejki.

Gdzie oznaczają

W przeglądarce. W hostowanej przestrzeni roboczej Owner lub Admin otwiera kolejkę przeglądu ze strony Review projektu i przydziela oceniających. Każdy oceniający widzi przydzielone mu kolejki i oznacza przyciskami lub klawiszami P, F i C. Werdykt z konta nieprzydzielonego do kolejki jest odrzucany, a każdy werdykt zapisuje się na własnym koncie oceniającego.

W terminalu. oloproof review RUN --criterion NAME --by YOU oznacza jeden przypadek na wiersz. Bez innej opcji sprawdza sędziego za jednym razem: ślepa próba o rozmiarze wynikającym z Twojego progu, sędzia zmierzony względem Twoich etykiet i uruchomienie rozstrzygnięte ponownie.

W arkuszu kalkulacyjnym. oloproof labels export RUN --criterion NAME --sample 50 zapisuje plik CSV do wypełnienia, a oloproof labels import zapisuje wszystkie wypełnione wiersze albo żaden. Używaj tego dla oceniających pracujących poza Oloproof, także dostawcy etykietowania. Etykiety z pliku liczą się na Twoim komputerze, nie w sprawdzeniu, które przestrzeń robocza wykonuje na próbie wylosowanej przez siebie.

Prowadzenie kolejki

Gdy Owner lub Admin otwiera kolejkę, każdy oceniający dostaje e-mail o przydziale, chyba że wyłączył e-maile o ocenach. Kolejka może mieć termin, widoczny w kolejce i w e-mailu; niczego nie rozstrzyga i po jego upływie nic nie jest wysyłane. Na stronie kolejki Ownerzy i Admini widzą postęp każdego oceniającego (wykonane przypadki i jego ostatni werdykt) i mogą zmienić termin.

Oceniających w kolejce przeglądu można zmienić w każdej chwili, a każdy dodany dostaje e-mail. W kolejce pomiarowej nie: należą do jej losowej próby i tylko ich etykiety się w niej liczą, więc inni oceniający biorą nową kolejkę z własną próbą.

Dwa rodzaje kolejek

Kolejka pomiarowa każe przestrzeni roboczej wylosować próbę losową i ukrywa werdykt sędziego. Jej etykiety mierzą sędziego albo rozstrzygają regułę przez samych ludzi. Kolejka przeglądu oznaczonych przypadków pokazuje werdykt sędziego i zamyka te przypadki, niczego nie mierząc. Tylko pierwszy rodzaj może reprezentować cały zestaw.

Gdy oceniający się nie zgadzają

Projekt może wymagać dwóch lub więcej oceniających na przypadek z próby, liczonych według kont. Gdy nie zgadzają się co do zaliczenia, przestrzeń robocza niczego nie rozstrzyga, dopóki Owner lub Admin, który nie oznaczył niczego w tym przypadku, go nie rozstrzygnie, na stronie kolejki lub uruchomienia. Jak często ludzie zgadzają się ze sobą, widać obok każdego ewaluatora, jako odsetek par oceniających, które się zgodziły, z jego przedziałem, oraz jako alfa Krippendorffa, która poprawia ten odsetek o zgodność, jaką dałby sam przypadek przy kryterium spełnianym przez większość odpowiedzi: 1 to pełna zgodność, a 0 to przypadek. Alfa jest podawana z przedziałem od 300 przypadków oznaczonych przez dwie lub więcej osób; poniżej jest pokazywana sama, z powodem. Niczego nie rozstrzyga.

Kolejkę pomiarową zaliczenia lub niezaliczenia z trzema lub więcej oceniającymi można zamiast tego odczytywać większością, co wybiera się przy jej otwarciu. Pierwszy werdykt każdego oceniającego jest jego głosem; przypadek się liczy, gdy zgodzi się ponad połowa jego oceniających, a remis czeka, aż rozstrzygnie go Owner lub Admin. Wszystkie kolejki zaliczenia lub niezaliczenia jednego uruchomienia dla jednego kryterium są odczytywane w ten sam sposób.

Oceny, preferencje oraz zaliczenie lub niezaliczenie na dwóch uruchomieniach nie wymagają takiego wyboru: wartością każdego przypadku jest średnia ze wszystkich oceniających, którzy go oznaczyli, więc spór przesuwa wartość, zamiast czekać na rozstrzygnięcie, a surowy lub pobłażliwy oceniający jest częścią tego, co mierzy odpowiedź.

Etykiety od dostawcy

Kolejkę pomiarową zaliczenia lub niezaliczenia albo ocen mogą etykietować oceniający dostawcy zamiast członków. Otwórz ją z opcją „Etykietowana przez dostawcę” i nazwiskami oceniających. Na stronie kolejki pobierz arkusz (wiersz na każdy wylosowany przypadek i oceniającego, do wypełnienia zaliczeniem lub niezaliczeniem albo oceną na skali kolejki), przekaż go dostawcy wraz z odpowiedziami do pokazania i prześlij zwrócony plik CSV lub XLSX. Każdy wiersz jest sprawdzany: przypadek, którego kolejka nie wylosowała, oceniający, którego nie wymienia, albo drugi werdykt jednego oceniającego w jednym przypadku odrzuca cały plik.

Każdy oceniający liczy się wtedy jako oceniający z imienia i nazwiska, więc zgodność, alfa, trafność na kluczach odpowiedzi i większość odczytują go wszystkie. Najpierw nadaj klucz kilku przypadkom, aby sprawdzić oceniających dostawcy, zanim na nich polegniesz; ich trafność jest raportowana i niczego nie rozstrzyga. Przestrzeń robocza zna plik, który dostała, a nie to, kto patrzył: każda etykieta wskazuje konto, które ją przesłało.

Klucze odpowiedzi i trafność oceniających

Owner lub Admin może nadać klucz niektórym przypadkom kolejki zaliczone lub niezaliczone: otwórz przypadek i nadaj mu klucz zaliczone lub niezaliczone. Klucze widzi tylko Owner lub Admin, któremu kolejka nie jest przypisana, więc oceniający nie wiedzą, które przypadki mają klucz. Strona Przegląd pokazuje wtedy Ownerom i Adminom odsetek odpowiedzi z kluczem każdego oceniającego zgodnych z kluczem, z przedziałem, oraz to samo w podziale na miesiące.

Liczy się pierwsze zaliczone lub niezaliczone oceniającego dla odpowiedzi z kluczem; „nie da się stwierdzić” jest pokazane obok, rozstrzygnięcia i własne werdykty autora klucza są pomijane, a klucz dotyczy jednej odpowiedzi, więc werdykt o odpowiedzi innego przebiegu na ten sam przypadek nie jest porównywany. Klucz nigdy nie jest etykietą i niczego nie rozstrzyga. Przedział traktuje przypadki z kluczem jak losową próbę podobnych przypadków; klucze wybrane ręcznie nią nie są, więc czytaj go jako trafność na tych przypadkach.

Etykiety ludzi rozstrzygają o wydaniu

• human_score: jak ludzie oceniają cały zestaw, na podstawie przypadków, które ocenili.
• human_preference: czy ludzie wolą kandydata od wersji bazowej, i o ile.
• human_difference: o ile częściej ludzie zaliczają kandydata niż wersję bazową.
• judge_bias_bar: porównanie rozstrzygnięte przez sędziego trafia do człowieka, chyba że etykiety ludzi pokazują, że sędzia traktuje obie wersje jednakowo.

Każdą deklaruje się w release.yaml lub compare.yaml, a jej metoda i to, czego nie może twierdzić, są wyjaśnione w Sędziowie. Przypadek, którego nikt nie oznaczył, liczy się z najgorszą wartością, więc zostawianie trudnych przypadków bez etykiet nigdy nie pomaga.

Jeszcze nie zbudowane

Dziś to nie istnieje:

• dostawca etykietujący kolejkę przeglądu, preferencje albo zaliczenie lub niezaliczenie na dwóch uruchomieniach: każda z nich pokazuje oceniającemu dwie odpowiedzi w kolejności, którą przestrzeń robocza ustala dla każdego oceniającego, a plik przygotowany poza Oloproof nie może jej zachować.

Oloproof nie zapewnia oceniających ani nie łączy się z własnymi narzędziami dostawcy.