Đánh giá của con người

Chính đội ngũ của bạn có thể gán nhãn cho câu trả lời của hệ thống trong Oloproof, và nhãn của họ có thể tự quyết định một bản phát hành hoặc kiểm tra giám khảo đưa ra quyết định đó. Trang này tập hợp những gì đang có và nơi mỗi phần được giải thích đầy đủ.

Những gì con người có thể gán nhãn

• Đạt, không đạt hoặc không thể xác định theo một tiêu chí, từng trường hợp một.
• Một điểm số trên thang bạn chọn, chẳng hạn từ 1 đến 5.
• Một lựa chọn ưu tiên giữa câu trả lời của hai lần chạy cho cùng một trường hợp, hiển thị là A và B theo thứ tự mà không gian làm việc cố định bằng một lần tung đồng xu được ghi lại, để người đánh giá không biết lần chạy nào là lần chạy nào.
• Đạt hoặc không đạt cho cả hai câu trả lời của cùng một trường hợp, để so sánh hai phiên bản theo phán quyết của con người.

Một bảng tiêu chí viết cho hàng đợi được hiển thị bên cạnh mỗi trường hợp.

Họ gán nhãn ở đâu

Trong trình duyệt. Trong một không gian làm việc được lưu trữ, một Owner hoặc Admin mở một hàng đợi đánh giá từ trang Review của dự án và phân công người đánh giá. Mỗi người đánh giá thấy các hàng đợi được giao cho mình và gán nhãn bằng các nút hoặc phím P, F và C. Phán quyết từ một tài khoản không được giao cho hàng đợi sẽ bị từ chối, và mỗi phán quyết được ghi dưới tài khoản riêng của người đánh giá.

Trong terminal. oloproof review RUN --criterion NAME --by YOU gán nhãn một trường hợp mỗi dòng. Không có tùy chọn nào khác, lệnh này kiểm tra giám khảo trong một lần: một mẫu mù có kích thước theo ngưỡng của bạn, giám khảo được đo so với nhãn của bạn, và lần chạy được quyết định lại.

Trong bảng tính. oloproof labels export RUN --criterion NAME --sample 50 ghi một tệp CSV để điền, và oloproof labels import ghi nhận tất cả các dòng đã điền hoặc không dòng nào. Dùng cách này cho người đánh giá làm việc ngoài Oloproof, kể cả nhà cung cấp dịch vụ gán nhãn. Nhãn từ tệp được tính trên máy của bạn, không tính trong lần kiểm tra mà không gian làm việc thực hiện trên mẫu do chính nó rút.

Vận hành một hàng đợi

Khi Owner hoặc Admin mở một hàng đợi, mỗi người đánh giá nhận được email báo rằng họ được phân công, trừ khi họ đã tắt email đánh giá. Một hàng đợi có thể có hạn chót, hiển thị trên hàng đợi và trong email; hạn chót không quyết định điều gì, và không có gì được gửi khi nó qua. Trên trang của hàng đợi, Owner và Admin thấy tiến độ của từng người đánh giá (số trường hợp đã làm và phán quyết gần nhất) và có thể đổi hạn chót.

Người đánh giá của một hàng đợi đánh giá có thể được thay đổi bất cứ lúc nào, và mỗi người được thêm vào đều nhận email. Người đánh giá của một hàng đợi đo lường thì không: họ là một phần của mẫu ngẫu nhiên của nó, và chỉ nhãn của họ được tính trên đó, nên những người đánh giá khác nhận một hàng đợi mới với mẫu riêng.

Hai loại hàng đợi

Hàng đợi đo lường để không gian làm việc rút một mẫu ngẫu nhiên và ẩn phán quyết của giám khảo. Nhãn của nó đo giám khảo, hoặc quyết định một quy tắc chỉ bằng con người. Hàng đợi đánh giá các trường hợp bị gắn cờ hiển thị phán quyết của giám khảo và xử lý xong các trường hợp đó mà không đo gì cả. Chỉ loại thứ nhất mới có thể đại diện cho toàn bộ bộ kiểm thử.

Khi người đánh giá không đồng ý

Một dự án có thể yêu cầu hai người đánh giá trở lên cho mỗi trường hợp được lấy mẫu, đếm theo tài khoản. Khi họ bất đồng về đạt hay không đạt, không gian làm việc không quyết định gì cho đến khi một Owner hoặc Admin chưa gán nhãn phần nào của trường hợp đó giải quyết nó, trên trang hàng đợi hoặc trang lần chạy. Mức độ con người đồng ý với nhau được hiển thị bên cạnh mỗi bộ đánh giá, dưới dạng tỷ lệ các cặp người đánh giá đồng ý, kèm khoảng tin cậy, và dưới dạng alpha của Krippendorff, vốn hiệu chỉnh tỷ lệ đó theo mức đồng ý mà riêng sự ngẫu nhiên sẽ cho trên một tiêu chí mà phần lớn câu trả lời đều đạt: 1 là đồng ý hoàn toàn và 0 là ngẫu nhiên. Alpha được đưa ra kèm khoảng tin cậy từ 300 trường hợp được hai người trở lên gán nhãn; dưới mức đó, nó được hiển thị riêng, kèm lý do. Nó không quyết định điều gì.

Một hàng đợi đo lường đạt hay không đạt có từ ba người đánh giá trở lên có thể được đọc theo đa số thay thế, lựa chọn khi mở hàng đợi. Phán quyết đầu tiên của mỗi người đánh giá là lá phiếu của họ; một trường hợp được tính khi hơn một nửa số người đánh giá của nó đồng ý, và một kết quả hòa chờ một Owner hoặc Admin giải quyết. Các hàng đợi đạt hay không đạt của một lần chạy trên cùng một tiêu chí đều được đọc theo cùng một cách.

Điểm số, lựa chọn ưu tiên và đạt hay không đạt trên hai lần chạy không cần lựa chọn như vậy: giá trị của mỗi trường hợp là trung bình của mọi người đánh giá đã gán nhãn cho nó, nên một bất đồng làm dịch chuyển giá trị thay vì chờ được giải quyết, và một người đánh giá khắt khe hay dễ dãi là một phần của điều mà câu trả lời đo lường.

Nhãn từ nhà cung cấp

Một hàng đợi đo lường đạt hay không đạt hoặc điểm số có thể được gán nhãn bởi những người chấm của một nhà cung cấp thay vì các thành viên. Mở nó với "Gán nhãn bởi nhà cung cấp" và tên những người chấm. Trên trang của hàng đợi, tải bảng tính xuống (một hàng cho mỗi trường hợp được rút và mỗi người chấm, điền đạt hay không đạt, hoặc một điểm số trên thang của hàng đợi), giao cho nhà cung cấp kèm các câu trả lời cần hiển thị, rồi tải lên tệp CSV hoặc XLSX được gửi lại. Mọi hàng đều được kiểm tra: một trường hợp hàng đợi không rút, một người chấm nó không nêu tên, hoặc phán quyết thứ hai của một người chấm cho cùng một trường hợp sẽ khiến toàn bộ tệp bị từ chối.

Khi đó mỗi người chấm được tính là một người đánh giá theo tên, nên mức đồng thuận, alpha, độ chính xác trên đáp án khóa và đa số đều đọc họ. Hãy đặt khóa cho vài trường hợp trước để kiểm tra những người chấm của nhà cung cấp trước khi dựa vào họ; độ chính xác của họ được báo cáo và không quyết định gì. Không gian làm việc biết tệp nó được giao, không biết ai đã xem: mỗi nhãn nêu tên tài khoản đã tải nó lên.

Đáp án khóa và độ chính xác của người đánh giá

Owner hoặc Admin có thể gắn đáp án khóa cho một số trường hợp trong hàng đợi đạt hoặc không đạt: mở một trường hợp và gắn khóa đạt hoặc không đạt. Chỉ Owner hoặc Admin không được hàng đợi phân công mới thấy các khóa, nên người đánh giá không biết trường hợp nào có khóa. Trang Đánh giá sau đó hiển thị cho Owner và Admin tỷ lệ câu trả lời có khóa của từng người đánh giá khớp với khóa, kèm khoảng của nó, và tương tự theo tháng.

Kết luận đạt hoặc không đạt đầu tiên của một người đánh giá trên câu trả lời có khóa được tính; "không thể nói" được hiển thị bên cạnh, các phân xử và kết luận của chính người tạo khóa bị loại ra, và một khóa chỉ áp dụng cho một câu trả lời, nên kết luận về câu trả lời của một lần chạy khác cho cùng trường hợp không được so sánh. Khóa không bao giờ là nhãn và không quyết định gì. Khoảng coi các trường hợp có khóa là một mẫu ngẫu nhiên của các trường hợp tương tự; khóa chọn bằng tay không phải vậy, nên hãy đọc nó là độ chính xác trên các trường hợp này.

Nhãn của con người quyết định một bản phát hành

• human_score: điểm con người dành cho toàn bộ bộ kiểm thử, từ các trường hợp họ đã chấm.
• human_preference: con người có ưa ứng viên hơn bản cơ sở không, và hơn bao nhiêu.
• human_difference: con người cho ứng viên đạt thường xuyên hơn bản cơ sở bao nhiêu.
• judge_bias_bar: một so sánh do giám khảo quyết định sẽ chuyển cho con người, trừ khi nhãn của con người cho thấy giám khảo đối xử như nhau với cả hai phiên bản.

Mỗi mục được khai báo trong release.yaml hoặc compare.yaml và được giải thích, cùng phương pháp và điều nó không thể khẳng định, trong Giám khảo. Một trường hợp không ai gán nhãn được tính ở giá trị tệ nhất, nên bỏ trống nhãn cho các trường hợp khó không bao giờ có lợi.

Chưa được xây dựng

Những mục sau hiện chưa có:

• một nhà cung cấp gán nhãn cho hàng đợi xem xét, lựa chọn ưu tiên, hoặc đạt hay không đạt trên hai lần chạy: mỗi loại này cho người đánh giá xem hai câu trả lời theo thứ tự mà không gian làm việc cố định cho từng người đánh giá, điều mà một tệp làm bên ngoài Oloproof không thể giữ được.

Oloproof không cung cấp người đánh giá và không kết nối với công cụ riêng của nhà cung cấp.