Revisión humana

Tu propio equipo puede etiquetar las respuestas de tu sistema en Oloproof, y sus etiquetas pueden decidir una publicación por sí solas o comprobar el juez que la decide. Esta página reúne lo que existe y dónde se explica en detalle cada parte.

Qué pueden etiquetar las personas

• Aprobado, suspenso o no se puede saber en un criterio, caso por caso.
• Una puntuación en la escala que elijas, por ejemplo de 1 a 5.
• Una preferencia entre las respuestas de dos ejecuciones al mismo caso, mostradas como A y B en un orden que el espacio de trabajo fija con una moneda registrada, de modo que quien revisa no puede saber qué ejecución es cuál.
• Aprobado o suspenso en ambas respuestas al mismo caso, para comparar dos versiones según el veredicto de las personas.

Junto a cada caso se muestra una rúbrica escrita para la cola.

Dónde etiquetan

En el navegador. En un espacio de trabajo alojado, un Owner o Admin abre una cola de revisión desde la página Review del proyecto y asigna revisores. Cada revisor ve las colas que tiene asignadas y etiqueta con los botones o las teclas P, F y C. Se rechaza el veredicto de una cuenta no asignada a la cola, y cada veredicto se registra con la cuenta propia del revisor.

En el terminal. oloproof review RUN --criterion NAME --by YOU etiqueta un caso por línea. Sin ninguna otra opción comprueba el juez de una vez: una muestra a ciegas dimensionada por tu umbral, el juez medido frente a tus etiquetas y la ejecución decidida de nuevo.

En una hoja de cálculo. oloproof labels export RUN --criterion NAME --sample 50 escribe un CSV para que lo rellenen, y oloproof labels import registra todas las filas rellenadas o ninguna. Úsalo para revisores que trabajan fuera de Oloproof, incluido un proveedor de etiquetado. Las etiquetas de un archivo cuentan en tu máquina, no en la comprobación que hace un espacio de trabajo de una muestra que él mismo extrajo.

Gestionar una cola

Cuando un Owner o un Admin abre una cola, cada revisor recibe un correo de que se le asignó, salvo que haya desactivado los correos de revisión. Una cola puede llevar una fecha límite, que se muestra en la cola y en el correo; no decide nada, y no se envía nada cuando vence. En la página de la cola, los Owners y Admins ven el progreso de cada revisor (casos hechos y su último veredicto) y pueden cambiar la fecha límite.

Los revisores de una cola de revisión pueden cambiarse en cualquier momento, y cada uno añadido recibe un correo. Los de una cola de medición no: forman parte de su muestra aleatoria y solo sus etiquetas cuentan en ella, así que otros revisores toman una cola nueva con su propia muestra.

Dos tipos de cola

Una cola de medición hace que el espacio de trabajo extraiga una muestra aleatoria y oculta el veredicto del juez. Sus etiquetas miden el juez, o deciden una regla solo con personas. Una cola de revisión de casos marcados muestra el veredicto del juez y resuelve esos casos sin medir nada. Solo el primer tipo puede representar toda la suite.

Cuando los revisores discrepan

Un proyecto puede exigir dos o más revisores por caso muestreado, contados por cuenta. Cuando discrepan en un aprobado o suspenso, el espacio de trabajo no decide nada hasta que un Owner o Admin que no etiquetó nada de ese caso lo resuelve, en la página de la cola o en la de la ejecución. La frecuencia con la que las personas coinciden entre sí se muestra junto a cada evaluador, como la proporción de pares de revisores que coincidieron, con su intervalo, y como el alfa de Krippendorff, que corrige esa proporción por el acuerdo que daría el azar solo en un criterio que la mayoría de las respuestas aprueba: 1 es acuerdo perfecto y 0 es azar. El alfa se da con un intervalo a partir de 300 casos etiquetados por dos o más personas; por debajo se muestra solo, con el motivo. No decide nada.

Una cola de medición de aprobado o suspenso con tres o más revisores puede leerse en cambio por mayoría, algo que se elige al abrirla. El primer veredicto de cada revisor es su voto; un caso cuenta en cuanto más de la mitad de sus revisores coinciden, y un empate espera a que un Owner o Admin lo resuelva. Las colas de aprobado o suspenso de una ejecución sobre un mismo criterio se leen todas de la misma forma.

Las puntuaciones, las preferencias y el aprobado o suspenso sobre dos ejecuciones no necesitan esa elección: el valor de cada caso es la media de todos los revisores que lo etiquetaron, de modo que una discrepancia mueve el valor en lugar de esperar a resolverse, y un revisor severo o indulgente forma parte de lo que mide la respuesta.

Etiquetas de un proveedor

Una cola de medición de aprobado o suspenso o de puntuaciones puede etiquetarla el equipo de anotadores de un proveedor en lugar de los miembros. Ábrela con «Etiquetada por un proveedor» y los nombres de los anotadores. En la página de la cola, descarga la hoja (una fila por caso extraído y anotador, para rellenar con aprobado o suspenso, o con una puntuación en la escala de la cola), entrégasela al proveedor con las respuestas que se deben mostrar y sube el CSV o XLSX devuelto. Se comprueba cada fila: un caso que la cola no extrajo, un anotador que no nombra o un segundo veredicto de un anotador sobre un mismo caso rechaza el archivo entero.

Cada anotador cuenta entonces como un revisor con su nombre, de modo que el acuerdo, el alfa, la precisión sobre las claves de respuesta y la mayoría lo leen todos. Pon primero clave a unos pocos casos para comprobar a los anotadores de un proveedor antes de confiar en ellos; su precisión se informa y no decide nada. El espacio de trabajo conoce el archivo que recibió, no quién lo miró: cada etiqueta nombra la cuenta que la subió.

Claves de respuesta y precisión de los revisores

Un Owner o Admin puede poner clave a algunos casos de una cola de aprobado o suspenso: abra un caso y asígnele la clave aprobado o suspenso. Solo un Owner o Admin al que la cola no asigna ve las claves, así que los revisores no saben qué casos tienen clave. La página Revisión muestra entonces, a Owners y Admins, la proporción de respuestas con clave de cada revisor que coincidió con la clave, con su intervalo, y lo mismo por mes.

Cuenta el primer aprobado o suspenso de un revisor sobre la respuesta con clave; «no se puede saber» se muestra al lado, se excluyen las resoluciones y los veredictos del propio autor de la clave, y una clave trata de una sola respuesta, así que no se compara un veredicto sobre la respuesta de otra ejecución al mismo caso. Una clave nunca es una etiqueta y no decide nada. El intervalo lee los casos con clave como una muestra aleatoria de casos parecidos; las claves elegidas a mano no lo son, así que léalo como la precisión en estos casos.

Las etiquetas de las personas deciden una publicación

• human_score: la puntuación que las personas dan a toda la suite, a partir de los casos que puntuaron.
• human_preference: si las personas prefieren el candidato a la referencia, y por cuánto.
• human_difference: cuánto más a menudo aprueban las personas el candidato que la referencia.
• judge_bias_bar: una comparación decidida por un juez pasa a una persona salvo que las etiquetas de las personas muestren que el juez trata igual a ambas versiones.

Cada una se declara en release.yaml o compare.yaml y se explica, con su método y lo que no puede afirmar, en Jueces. Un caso que nadie etiquetó cuenta con su peor valor, así que dejar sin etiquetar los casos difíciles nunca ayuda.

Aún no construido

Esto no existe hoy:

• un proveedor que etiquete una cola de revisión, preferencias o el aprobado o suspenso sobre dos ejecuciones: cada una muestra a un revisor dos respuestas en un orden que el espacio de trabajo fija para cada revisor, y un archivo hecho fuera de Oloproof no puede conservarlo.

Oloproof no proporciona revisores ni se conecta a las herramientas propias de un proveedor.