Tinjauan manusia

Orang-orang Anda sendiri dapat melabeli jawaban sistem Anda di Oloproof, dan label mereka dapat memutuskan sebuah rilis secara mandiri atau memeriksa juri yang memutuskannya. Halaman ini mengumpulkan apa yang sudah ada dan di mana setiap bagian dijelaskan secara lengkap.

Yang dapat dilabeli orang

• Lulus, gagal, atau tidak dapat dipastikan pada satu kriteria, kasus demi kasus.
• Skor pada skala pilihan Anda, misalnya 1 sampai 5.
• Preferensi antara jawaban dua run untuk kasus yang sama, ditampilkan sebagai A dan B dalam urutan yang ditetapkan ruang kerja dengan lemparan koin yang tercatat, sehingga peninjau tidak dapat mengetahui run mana yang mana.
• Lulus atau gagal pada kedua jawaban untuk kasus yang sama, untuk membandingkan dua versi berdasarkan putusan orang.

Rubrik yang ditulis untuk antrean ditampilkan di samping setiap kasus.

Di mana mereka melabeli

Di peramban. Di ruang kerja yang di-hosting, seorang Owner atau Admin membuka antrean tinjauan dari halaman Review proyek dan menugaskan peninjau. Setiap peninjau melihat antrean yang ditugaskan kepadanya dan melabeli dengan tombol atau tombol keyboard P, F, dan C. Putusan dari akun yang tidak ditugaskan ke antrean ditolak, dan setiap putusan dicatat atas akun peninjau itu sendiri.

Di terminal. oloproof review RUN --criterion NAME --by YOU melabeli satu kasus per baris. Tanpa opsi lain, perintah ini memeriksa juri sekaligus: sampel buta yang ukurannya ditentukan oleh ambang Anda, juri yang diukur terhadap label Anda, dan run yang diputuskan ulang.

Di spreadsheet. oloproof labels export RUN --criterion NAME --sample 50 menulis CSV untuk diisi, dan oloproof labels import mencatat semua baris yang terisi atau tidak sama sekali. Gunakan untuk peninjau yang bekerja di luar Oloproof, termasuk vendor pelabelan. Label dari file dihitung di mesin Anda, bukan dalam pemeriksaan ruang kerja atas sampel yang ditariknya sendiri.

Menjalankan antrean

Saat Owner atau Admin membuka antrean, setiap peninjau mendapat email bahwa mereka ditugaskan, kecuali mereka mematikan email peninjauan. Antrean dapat memiliki tenggat, yang ditampilkan pada antrean dan di email; tenggat tidak memutuskan apa pun, dan tidak ada yang dikirim saat tenggat lewat. Di halaman antrean, Owner dan Admin melihat kemajuan setiap peninjau (kasus yang selesai dan putusan terakhirnya) dan dapat mengubah tenggat.

Peninjau antrean tinjauan dapat diubah kapan saja, dan setiap peninjau yang ditambahkan mendapat email. Peninjau antrean pengukuran tidak dapat diubah: mereka bagian dari sampel acaknya, dan hanya label mereka yang dihitung di sana, jadi peninjau lain mengambil antrean baru dengan sampelnya sendiri.

Dua jenis antrean

Antrean pengukuran membuat ruang kerja menarik sampel acak dan menyembunyikan putusan juri. Labelnya mengukur juri, atau memutuskan aturan oleh orang saja. Antrean tinjauan kasus yang ditandai menampilkan putusan juri dan menuntaskan kasus-kasus itu tanpa mengukur apa pun. Hanya jenis pertama yang dapat mewakili seluruh suite.

Ketika peninjau tidak sepakat

Sebuah proyek dapat mewajibkan dua peninjau atau lebih per kasus sampel, dihitung per akun. Bila mereka berbeda soal lulus atau gagal, ruang kerja tidak memutuskan apa pun sampai seorang Owner atau Admin yang tidak melabeli bagian mana pun dari kasus itu menyelesaikannya, di halaman antrean atau halaman run. Seberapa sering orang sepakat satu sama lain ditampilkan di samping setiap evaluator, sebagai proporsi pasangan peninjau yang sepakat, beserta intervalnya, dan sebagai alfa Krippendorff, yang mengoreksi proporsi itu dari kesepakatan yang akan diberikan kebetulan saja pada kriteria yang diluluskan sebagian besar jawaban: 1 adalah kesepakatan sempurna dan 0 adalah kebetulan. Alfa diberikan dengan interval mulai dari 300 kasus yang dilabeli dua orang atau lebih; di bawah itu ditampilkan sendiri, beserta alasannya. Alfa tidak memutuskan apa pun.

Antrean pengukuran lulus atau gagal dengan tiga peninjau atau lebih dapat dibaca dengan suara mayoritas, dipilih saat antrean dibuka. Putusan pertama setiap peninjau adalah suaranya; sebuah kasus dihitung begitu lebih dari separuh peninjaunya sepakat, dan hasil seri menunggu seorang Owner atau Admin menyelesaikannya. Semua antrean lulus atau gagal dari satu run pada satu kriteria dibaca dengan cara yang sama.

Skor, preferensi, serta lulus atau gagal pada dua run tidak memerlukan pilihan seperti itu: nilai setiap kasus adalah rata-rata dari semua peninjau yang melabelinya, sehingga perselisihan menggeser nilainya alih-alih menunggu diselesaikan, dan peninjau yang keras atau longgar menjadi bagian dari apa yang diukur jawabannya.

Label dari vendor

Antrean pengukuran lulus atau gagal atau skor dapat dilabeli oleh penilai dari vendor, bukan oleh anggota. Buka dengan "Dilabeli oleh vendor" dan nama-nama penilainya. Di halaman antrean, unduh lembarnya (satu baris per kasus yang ditarik dan per penilai, diisi dengan lulus atau gagal, atau skor pada skala antrean), berikan kepada vendor beserta jawaban yang perlu ditampilkan, lalu unggah CSV atau XLSX yang dikembalikan. Setiap baris diperiksa: kasus yang tidak ditarik antrean, penilai yang tidak disebutkannya, atau putusan kedua dari satu penilai pada satu kasus menolak seluruh file.

Setiap penilai kemudian dihitung sebagai peninjau dengan namanya, sehingga kesepakatan, alpha, akurasi pada kunci jawaban, dan mayoritas semuanya membacanya. Beri kunci pada beberapa kasus terlebih dahulu untuk memeriksa penilai vendor sebelum Anda mengandalkan mereka; akurasi mereka dilaporkan dan tidak memutuskan apa pun. Ruang kerja mengetahui file yang diberikan kepadanya, bukan siapa yang melihat: setiap label menyebut akun yang mengunggahnya.

Kunci jawaban dan akurasi peninjau

Owner atau Admin dapat memberi kunci pada sebagian kasus dalam antrean lulus atau gagal: buka sebuah kasus dan beri kunci lulus atau gagal. Hanya Owner atau Admin yang tidak ditugaskan antrean itu yang melihat kuncinya, sehingga peninjau tidak tahu kasus mana yang berkunci. Halaman Tinjauan lalu menampilkan kepada Owner dan Admin proporsi jawaban berkunci setiap peninjau yang cocok dengan kuncinya, beserta intervalnya, dan hal yang sama per bulan.

Lulus atau gagal pertama seorang peninjau pada jawaban berkunci yang dihitung; "tidak bisa menilai" ditampilkan di sampingnya, penyelesaian dan putusan penulis kunci sendiri dikecualikan, dan sebuah kunci berlaku untuk satu jawaban, sehingga putusan atas jawaban run lain untuk kasus yang sama tidak dibandingkan. Kunci tidak pernah menjadi label dan tidak memutuskan apa pun. Interval membaca kasus berkunci sebagai sampel acak dari kasus serupa; kunci yang dipilih dengan tangan bukan sampel acak, jadi bacalah sebagai akurasi pada kasus-kasus ini.

Label orang memutuskan rilis

• human_score: skor yang diberikan orang untuk seluruh suite, dari kasus yang mereka skor.
• human_preference: apakah orang lebih memilih kandidat daripada baseline, dan seberapa besar.
• human_difference: seberapa lebih sering orang meluluskan kandidat dibanding baseline.
• judge_bias_bar: perbandingan yang diputuskan juri diteruskan ke seseorang kecuali label orang menunjukkan juri memperlakukan kedua versi secara sama.

Masing-masing dideklarasikan di release.yaml atau compare.yaml dan dijelaskan, beserta metodenya dan apa yang tidak dapat diklaimnya, di Juri. Kasus yang tidak dilabeli siapa pun dihitung pada nilai terburuknya, jadi membiarkan kasus sulit tanpa label tidak pernah membantu.

Belum dibangun

Hal-hal ini belum ada hari ini:

• vendor yang melabeli antrean tinjauan, preferensi, atau lulus atau gagal pada dua run: masing-masing menampilkan dua jawaban kepada peninjau dalam urutan yang ditetapkan ruang kerja untuk setiap peninjau, yang tidak dapat dipertahankan oleh file yang dibuat di luar Oloproof.

Oloproof tidak menyediakan peninjau dan tidak terhubung ke alat milik vendor.