人によるレビュー

自分たちのメンバーが Oloproof でシステムの回答にラベルを付けることができ、そのラベルは単独でリリースを決めることも、リリースを決めるジャッジを検証することもできます。このページでは、何が存在し、各部分がどこで詳しく説明されているかをまとめます。

人がラベル付けできるもの

• 1 つの基準について、ケースごとの合格、不合格、判断不能。
• 1 から 5 など、任意の尺度でのスコア。
• 同じケースに対する 2 つの実行の回答間の選好。回答は、ワークスペースが記録されたコイン投げで決めた順序で A と B として表示されるため、レビュアーはどちらがどの実行かを知ることができません。
• 同じケースに対する両方の回答の合格または不合格。人の判定で 2 つのバージョンを比較するためのものです。

キュー用に書かれた評価基準が各ケースの横に表示されます。

どこでラベル付けするか

ブラウザで。 ホスト型ワークスペースでは、Owner または Admin がプロジェクトの Review ページからレビューキューを開き、レビュアーを割り当てます。各レビュアーは自分に割り当てられたキューを見て、ボタンまたは P、F、C キーでラベルを付けます。キューに割り当てられていないアカウントからの判定は拒否され、各判定はレビュアー自身のアカウントで記録されます。

ターミナルで。 oloproof review RUN --criterion NAME --by YOU は 1 行に 1 ケースずつラベルを付けます。他のオプションがなければ、ジャッジを一度に検証します。しきい値に応じたサイズのブラインドサンプル、あなたのラベルに対するジャッジの測定、そして実行の再判定です。

スプレッドシートで。 oloproof labels export RUN --criterion NAME --sample 50 は記入用の CSV を書き出し、oloproof labels import は記入済みの行をすべて記録するか、1 行も記録しません。ラベリング業者を含め、Oloproof の外で作業するレビュアーに使ってください。ファイルからのラベルはあなたのマシン上では数えられますが、ワークスペースが自ら抽出したサンプルに対して行う検証では数えられません。

キューを運用する

Owner または Admin がキューを開くと、各レビュアーに割り当てられたことがメールで通知されます。ただし、レビューのメールをオフにしている人には送られません。キューには期限を設定でき、キューとメールに表示されます。期限は何も決定せず、過ぎても何も送信されません。キューのページでは、Owner と Admin が各レビュアーの進捗(完了したケースと最後の判定)を確認し、期限を変更できます。

レビューキューのレビュアーはいつでも変更でき、追加された各レビュアーにはメールが届きます。測定キューのレビュアーは変更できません。彼らはそのランダムサンプルの一部であり、そのキューでは彼らのラベルだけが数えられるため、他のレビュアーは独自のサンプルを持つ新しいキューを担当します。

2 種類のキュー

測定キューは、ワークスペースにランダムサンプルを抽出させ、ジャッジの判定を隠します。そのラベルはジャッジを測定するか、人だけでルールを判定します。フラグ付きケースのレビューキューはジャッジの判定を表示し、何も測定せずにそれらのケースを処理します。スイート全体を代表できるのは前者だけです。

レビュアーの意見が分かれたとき

プロジェクトは、サンプルされた各ケースに 2 人以上のレビュアーを、アカウント単位で数えて求めることができます。合否で意見が分かれた場合、そのケースに一切ラベルを付けていない Owner または Admin がキューのページか実行のページで解決するまで、ワークスペースは何も判定しません。人どうしがどれほど一致するかは、一致したレビュアーの組の割合として、その区間とともに、また Krippendorff のアルファとして、各評価器の横に表示されます。アルファは、ほとんどの回答が合格する基準で偶然だけでも生じる一致の分をその割合から補正したもので、1 は完全な一致、0 は偶然です。2 人以上がラベル付けしたケースが 300 件以上あれば区間付きで示され、それ未満では理由とともにアルファのみが示されます。アルファは何も判定しません。

レビュアーが 3 人以上いる合否の測定キューは、代わりに多数決で読むこともでき、これはキューを開くときに選びます。各レビュアーの最初の判定がその人の票です。ケースはレビュアーの過半数が一致した時点で数えられ、同数の場合は Owner または Admin が解決するまで待ちます。ある実行の、1 つの基準に対する合否のキューはすべて同じ方法で読まれます。

スコア、選好、2 つの実行での合否には、このような選択は必要ありません。各ケースの値はラベルを付けたすべてのレビュアーの平均なので、意見の不一致は解決を待つのではなく値を動かし、厳しいレビュアーや甘いレビュアーも回答が測るものの一部になります。

業者のラベル

合否またはスコアの測定キューには、メンバーの代わりに業者の評価者がラベルを付けることができます。「業者がラベル付け」と評価者の名前を指定してキューを開きます。キューのページでシート（抽出されたケースと評価者ごとに 1 行で、合否、またはキューの尺度でのスコアを記入します）をダウンロードし、表示する回答とともに業者に渡し、返ってきた CSV または XLSX をアップロードします。すべての行が検査され、キューが抽出していないケース、キューが名前を挙げていない評価者、または 1 人の評価者による 1 つのケースへの 2 つ目の判定があると、ファイル全体が拒否されます。

その後、各評価者は名前の付いたレビュアーとして数えられるため、一致率、アルファ、正解キーでの正確さ、多数決のすべてがその評価者を読みます。業者の評価者に頼る前に、まずいくつかのケースに正解キーを付けて確認してください。その正確さは報告されるだけで、何も判定しません。ワークスペースが知っているのは渡されたファイルであり、誰が見たかではありません。各ラベルには、それをアップロードしたアカウントが記されます。

正解キーとレビュアーの正確さ

Owner または Admin は、合格・不合格キューの一部のケースにキーを付けられます。ケースを開き、合格または不合格のキーを付けます。キーを見られるのは、そのキューに割り当てられていない Owner または Admin だけなので、レビュアーはどのケースにキーがあるかを知りません。その後、レビューページでは Owner と Admin に、各レビュアーのキー付き回答のうちキーと一致した割合が区間とともに、また月別にも表示されます。

キー付き回答に対するレビュアーの最初の合格・不合格が数えられます。「判断できない」はその横に表示され、解決とキー作成者自身の判定は除外されます。キーは一つの回答についてのものなので、同じケースへの別の実行の回答に対する判定は比較されません。キーはラベルではなく、何も決定しません。区間はキー付きケースを似たケースの無作為標本として読みます。手で選んだキーはそうではないので、これらのケースでの正確さとして読んでください。

人のラベルがリリースを決める

• human_score: 人がスコアを付けたケースから見た、スイート全体に対する人のスコア。
• human_preference: 人が候補をベースラインより好むかどうか、そしてどの程度か。
• human_difference: 人が候補をベースラインよりどれだけ多く合格とするか。
• judge_bias_bar: ジャッジが判定した比較は、人のラベルがジャッジが両バージョンを同じように扱うことを示さない限り、人に回されます。

それぞれ release.yaml または compare.yaml で宣言し、その手法と主張できないことは ジャッジ で説明しています。誰もラベルを付けなかったケースは最悪の値で数えられるため、難しいケースをラベルなしのままにしても得にはなりません。

まだ実装されていないもの

以下は現時点では存在しません。

• 業者がレビューキュー、選好、または 2 つの実行での合否にラベルを付けること。これらはいずれも、ワークスペースがレビュアーごとに決めた順序で 2 つの回答をレビュアーに示しますが、Oloproof の外で作られたファイルではその順序を保てません。

Oloproof はレビュアーを提供せず、業者独自のツールとも接続しません。