İnsan incelemesi

Kendi ekibiniz sisteminizin yanıtlarını Oloproof'ta etiketleyebilir; bu etiketler bir sürüm kararını tek başına verebilir ya da kararı veren hakemi denetleyebilir. Bu sayfa neyin var olduğunu ve her parçanın nerede ayrıntılı açıklandığını bir araya getirir.

İnsanların etiketleyebildikleri

• Tek bir ölçüt üzerinde, vaka vaka geçti, kaldı veya belirlenemiyor.
• Seçtiğiniz bir ölçekte, örneğin 1 ile 5 arasında bir puan.
• Aynı vakaya iki çalıştırmanın verdiği yanıtlar arasında bir tercih; yanıtlar, çalışma alanının kaydedilmiş bir yazı turayla belirlediği sırada A ve B olarak gösterilir, böylece inceleyen hangi çalıştırmanın hangisi olduğunu bilemez.
• İki sürümü insanların kararıyla karşılaştırmak için aynı vakaya verilen her iki yanıtta geçti veya kaldı.

Her vakanın yanında kuyruk için yazılmış bir değerlendirme ölçütü gösterilir.

Nerede etiketlerler

Tarayıcıda. Barındırılan bir çalışma alanında bir Owner veya Admin, projenin Review sayfasından bir inceleme kuyruğu açar ve inceleyenleri atar. Her inceleyen kendisine atanmış kuyrukları görür ve düğmelerle ya da P, F ve C tuşlarıyla etiketler. Kuyruğa atanmamış bir hesaptan gelen karar reddedilir ve her karar inceleyenin kendi hesabı altında kaydedilir.

Terminalde. oloproof review RUN --criterion NAME --by YOU her satırda bir vaka etiketler. Başka seçenek verilmezse hakemi tek seferde denetler: eşiğinize göre boyutlanan kör bir örneklem, etiketlerinize karşı ölçülen hakem ve yeniden karar verilen çalıştırma.

Bir elektronik tabloda. oloproof labels export RUN --criterion NAME --sample 50 doldurulmak üzere bir CSV yazar; oloproof labels import doldurulan satırların ya hepsini ya da hiçbirini kaydeder. Bunu, bir etiketleme tedarikçisi dahil, Oloproof dışında çalışan inceleyenler için kullanın. Bir dosyadan gelen etiketler sizin makinenizde sayılır; bir çalışma alanının kendi çektiği örneklem için yaptığı denetimde sayılmaz.

Bir kuyruğu yürütmek

Bir Owner veya Admin bir kuyruk açtığında, inceleme e-postalarını kapatmadıysa her inceleyene atandığı e-postayla bildirilir. Bir kuyruğun son tarihi olabilir; kuyrukta ve e-postada gösterilir, hiçbir şeye karar vermez ve geçtiğinde hiçbir şey gönderilmez. Kuyruğun sayfasında Owner ve Admin'ler her inceleyenin ilerlemesini (tamamlanan vakalar ve son kararı) görür ve son tarihi değiştirebilir.

Bir inceleme kuyruğunun inceleyenleri her zaman değiştirilebilir ve eklenen her biri e-posta alır. Bir ölçüm kuyruğununkiler değiştirilemez: rastgele örneğinin parçasıdırlar ve orada yalnızca onların etiketleri sayılır; bu yüzden başka inceleyenler kendi örneğiyle yeni bir kuyruk alır.

İki tür kuyruk

Bir ölçüm kuyruğu, çalışma alanına rastgele bir örneklem çektirir ve hakemin kararını gizler. Etiketleri hakemi ölçer ya da bir kuralı yalnızca insanlarla karara bağlar. İşaretlenmiş vakaların inceleme kuyruğu hakemin kararını gösterir ve bu vakaları hiçbir şey ölçmeden sonuçlandırır. Yalnızca ilk tür tüm paketi temsil edebilir.

İnceleyenler anlaşamadığında

Bir proje, örneklenen her vaka için hesap bazında sayılan iki veya daha fazla inceleyen isteyebilir. Geçti veya kaldı konusunda anlaşamadıklarında, o vakanın hiçbir kısmını etiketlememiş bir Owner veya Admin kuyruk sayfasında ya da çalıştırma sayfasında çözene kadar çalışma alanı hiçbir karar vermez. İnsanların birbiriyle ne sıklıkla anlaştığı, her değerlendiricinin yanında, anlaşan inceleyen çiftlerinin oranı olarak aralığıyla birlikte ve Krippendorff alfası olarak gösterilir; alfa, bu oranı, yanıtların çoğunun geçtiği bir ölçütte yalnızca şansın vereceği uyuma göre düzeltir: 1 tam uyum, 0 ise şanstır. Alfa, iki veya daha fazla kişinin etiketlediği 300 vakadan itibaren bir aralıkla verilir; bunun altında gerekçesiyle tek başına gösterilir. Hiçbir karar vermez.

Üç veya daha fazla inceleyeni olan bir geçti veya kaldı ölçüm kuyruğu bunun yerine çoğunlukla okunabilir; bu, kuyruk açılırken seçilir. Her inceleyenin ilk kararı onun oyudur; bir vaka, inceleyenlerinin yarısından fazlası anlaştığında sayılır ve eşitlik, bir Owner veya Admin onu çözene kadar bekler. Bir çalıştırmanın tek bir ölçüt üzerindeki geçti veya kaldı kuyruklarının hepsi aynı şekilde okunur.

Puanlar, tercihler ve iki çalıştırma üzerinde geçti veya kaldı böyle bir seçim gerektirmez: her vakanın değeri, onu etiketleyen tüm inceleyenlerin ortalamasıdır; böylece bir anlaşmazlık çözülmeyi beklemek yerine değeri kaydırır ve sert ya da hoşgörülü bir inceleyen, yanıtın ölçtüğü şeyin bir parçası olur.

Tedarikçiden etiketler

Bir geçti veya kaldı ya da puan ölçüm kuyruğu, üyeler yerine bir tedarikçinin değerlendiricileri tarafından etiketlenebilir. Kuyruğu "Bir tedarikçi tarafından etiketlenir" seçeneği ve değerlendiricilerin adlarıyla açın. Kuyruğun sayfasında tabloyu indirin (çekilen her vaka ve değerlendirici için geçti veya kaldı ya da kuyruğun ölçeğinde bir puanla doldurulacak bir satır), gösterilecek yanıtlarla birlikte tedarikçiye verin ve geri gelen CSV veya XLSX dosyasını yükleyin. Her satır denetlenir: kuyruğun çekmediği bir vaka, adını vermediği bir değerlendirici ya da bir değerlendiricinin bir vakaya verdiği ikinci karar tüm dosyayı reddeder.

Her değerlendirici bundan sonra adıyla bir inceleyen sayılır; böylece uyum, alfa, yanıt anahtarlarındaki doğruluk ve çoğunluk onu okur. Bir tedarikçinin değerlendiricilerine güvenmeden önce onları denetlemek için önce birkaç vakaya anahtar verin; doğrulukları raporlanır ve hiçbir şeye karar vermez. Çalışma alanı kendisine verilen dosyayı bilir, kimin baktığını bilmez: her etiket onu yükleyen hesabı adlandırır.

Yanıt anahtarları ve inceleyen doğruluğu

Bir Owner veya Admin, geçti ya da kaldı kuyruğundaki bazı vakalara anahtar verebilir: bir vakayı açın ve anahtarını geçti ya da kaldı olarak verin. Anahtarları yalnızca kuyruğun atamadığı bir Owner veya Admin görür, bu yüzden inceleyenler hangi vakaların anahtarlı olduğunu bilmez. İnceleme sayfası ardından Owner ve Admin'lere her inceleyenin anahtarlı yanıtlarından anahtarla eşleşenlerin oranını, aralığıyla birlikte, ve aynısını aylara göre gösterir.

Bir inceleyenin anahtarlı yanıttaki ilk geçti ya da kaldı kararı sayılır; "söylenemez" yanında gösterilir, çözümlemeler ve anahtarı yazanın kendi kararları dışarıda bırakılır, ve bir anahtar tek bir yanıtla ilgilidir, bu yüzden başka bir çalıştırmanın aynı vakaya verdiği yanıt hakkındaki karar karşılaştırılmaz. Anahtar asla bir etiket değildir ve hiçbir şeye karar vermez. Aralık, anahtarlı vakaları benzer vakalardan rastgele bir örneklem olarak okur; elle seçilmiş anahtarlar böyle değildir, bu yüzden onu bu vakalardaki doğruluk olarak okuyun.

İnsanların etiketleri sürüm kararını verir

• human_score: insanların, puanladıkları vakalardan yola çıkarak tüm pakete verdiği puan.
• human_preference: insanların adayı temel sürüme tercih edip etmediği ve ne kadar.
• human_difference: insanların adayı temel sürümden ne kadar daha sık geçirdiği.
• judge_bias_bar: bir hakemin karara bağladığı karşılaştırma, insanların etiketleri hakemin iki sürüme de aynı davrandığını göstermedikçe bir insana gider.

Her biri release.yaml veya compare.yaml içinde bildirilir ve yöntemi ile neyi iddia edemeyeceği Hakemler sayfasında açıklanır. Kimsenin etiketlemediği bir vaka en kötü değeriyle sayılır; bu yüzden zor vakaları etiketsiz bırakmak hiçbir zaman işe yaramaz.

Henüz yapılmadı

Bunlar bugün mevcut değildir:

• bir tedarikçinin bir inceleme kuyruğunu, tercihleri ya da iki çalıştırma üzerinde geçti veya kaldıyı etiketlemesi: bunların her biri inceleyene iki yanıtı çalışma alanının her inceleyen için belirlediği bir sırada gösterir ve Oloproof dışında hazırlanan bir dosya bu sırayı koruyamaz.

Oloproof inceleyen sağlamaz ve bir tedarikçinin kendi araçlarına bağlanmaz.