Personas con y sin el sistema

Un sistema de IA que aconseja a personas solo es bueno si esas personas deciden mejor con él. Un sistema que acierta el 90 % de las veces puede aun así empeorar a sus usuarios, si lo siguen donde se equivoca y dejan de pensar donde antes pensaban. oloproof human-ai report responde a dos preguntas a partir de un archivo de decisiones de personas: ¿deciden mejor las personas con la salida del sistema a la vista que sin ella, y cómo confían en ella?

El estudio

Dé los mismos casos a varias personas. Cada persona decide algunos casos con la salida del sistema a la vista y los demás sin ella, con el reparto elegido al azar para cada persona, en un orden aleatorio. El reparto debe ser aleatorio, o la suite entera en cada condición: un reparto elegido por la persona, por el sistema o por la dificultad hace que la respuesta sea errónea de una forma que el intervalo no cubre, y Oloproof no puede verlo en el archivo. Cada persona decide sola; un equipo que discute los casos cuenta como una persona. Cada caso tiene una respuesta de referencia, decidida de forma independiente. Se deciden dos diseños, y responden a preguntas distintas. Cruzado: cada persona ve cada caso una vez, en una condición, así que la respuesta es lo que la salida le hace a una decisión. Antes y después: cada persona decide primero un caso sola y luego de nuevo tras ver la salida, así que la respuesta es una segunda mirada con la salida frente a una primera mirada sin ella, lo que mezcla el efecto de la salida con el de volver a mirar. En ese diseño, la decisión sin la salida debe ir primero; un archivo que muestre lo contrario se señala. Un archivo en el que cada caso se decidió una vez en cada condición por dos personas distintas se señala como disperso, y se describe pero nunca se decide.

Escriba una fila por decisión, como CSV con encabezado o como JSONL:

Las decisiones, referencias y salidas se comparan como texto tras quitar los espacios de los extremos, así que escriba cada etiqueta de una sola forma. Copie el ejemplo con oloproof init --example human-ai: treinta afirmaciones clasificadas por ocho personas, tomadas de un generador con semilla.

oloproof human-ai check decisions.csv
oloproof human-ai report decisions.csv
oloproof human-ai gate decisions.csv --policy policy.yaml

check lee el archivo y dice qué puede responder. report da cada medida y no decide nada. gate decide cada regla de una política y sale con 0 en PASS, 1 en FAIL, 3 en INSUFFICIENT_EVIDENCE y 4 en MANUAL_REVIEW. Cada uno acepta --json. El archivo se lee en su máquina y nunca se almacena ni se envía.

Con menos sin

La respuesta principal es el promedio, sobre las personas, de la exactitud de cada persona con la salida a la vista menos su propia exactitud sin ella. Cada persona cuenta una vez, sin importar cuántos casos haya decidido, así que unas pocas personas que hacen la mayor parte del trabajo no pueden ocultar lo que la salida les hace a todas las demás. La respuesta trata de las personas que usarán el sistema, si las personas del estudio se extrajeron de ellas, en los casos del estudio, y en otros solo en la medida en que se les parezcan.

El intervalo es el que Oloproof usa para todo promedio acotado, aplicado a las ganancias de las personas. No supone nada sobre cómo se reparten las ganancias: si una persona de cada cinco sigue al sistema en sus errores, el intervalo lo tiene en cuenta. Cada lado acierta al nivel de confianza declarado con cualquier número de personas, así que un umbral mínimo no se supera por suerte más a menudo de lo que se declara. El precio es la anchura: con seis personas el intervalo mide unos 1,2 de ancho en una escala de -1 a 1, con diez personas unos 0,8, y por debajo de unas cuarenta personas una regla rara vez decidirá, salvo que la ganancia sea grande. Cuando el intervalo es más ancho que 0,5, el informe dice que el estudio no puede decidir un umbral útil y cuántas personas necesitaría, aproximadamente. Un intervalo que tratara cada decisión como independiente sería demasiado estrecho (la cuadrícula de cobertura midió que cubre el valor real apenas el 39 % de las veces, frente al 95 % declarado). Una decisión ausente se completa como errónea con la salida para la cota inferior y como correcta con ella para la cota superior, así que el intervalo se sostiene sean cuales fueran las decisiones ausentes, y el informe muestra el rango de la estimación entre ambos rellenos.

El método fue admitido por una auditoría independiente el 3 de noviembre de 2026, en los términos anteriores: personas que deciden solas, una división aleatoria y, en un estudio de antes y después, primero la decisión sin la salida. Una regla sobre accuracy_difference decide PASS, FAIL o INSUFFICIENT_EVIDENCE. Necesita al menos dos personas que hayan decidido en ambas condiciones; con menos, una regla da INSUFFICIENT_EVIDENCE.

La confianza depositada

Cada tasa cuenta decisiones; su denominador dice cuáles.

Cada tasa tiene el intervalo exacto que Oloproof usa para toda tasa, con las decisiones ausentes completadas en ambos sentidos. Ese intervalo supone decisiones independientes. Cuando una persona o un caso aparece más de una vez en el denominador de una tasa, como en cualquier estudio real, la tasa se informa y una regla basada en ella da MANUAL_REVIEW: las personas repetidas hacen el intervalo demasiado estrecho, y Oloproof no decidirá sobre él.

El tiempo hasta la decisión es la mediana de segundos por condición, con su intervalo, informada y nunca usada como puerta.

Una política

confidence: 0.95
rules:
  - id: people-decide-better
    metric: accuracy_difference
    minimum: 0.0
  - id: few-follow-a-wrong-suggestion
    metric: over_reliance
    maximum: 0.5

Cada regla nombra una métrica y un umbral. Un mínimo pasa cuando la cota inferior del intervalo está en él o por encima, y falla cuando la cota superior está por debajo; un máximo es su espejo. Todo lo demás es INSUFFICIENT_EVIDENCE.

Lo que esto no puede decirle

• Habla por las personas de las que se extrajeron las del estudio, en casos como los del estudio. Las personas formadas de otro modo, o elegidas porque les gusta el sistema, son otra población.
• Un estudio de antes y después mide una segunda mirada con la salida frente a una primera mirada sin ella, no la salida por sí sola.
• Las personas que saben que se las estudia pueden revisar el sistema con más cuidado que en su trabajo.
• Las respuestas de referencia se dan por correctas. Si provienen de las mismas personas, o del sistema, el estudio mide acuerdo, no exactitud.
• Leer decisiones desde la cola de revisión alojada no está construido: expórtelas al archivo anterior.