Guides

Les personnes avec et sans le système

Un système d'IA qui conseille des personnes n'est bon que si ces personnes décident mieux avec lui. Un système qui a raison 90 % du temps peut quand même rendre ses utilisateurs moins bons, s'ils le suivent là où il se trompe et cessent de réfléchir là où ils réfléchissaient avant. oloproof human-ai report répond à deux questions à partir d'un fichier de décisions de personnes : les personnes décident-elles mieux quand la sortie du système est affichée que sans elle, et comment s'y fient-elles ?

L'étude

Donnez les mêmes cas à plusieurs personnes. Chaque personne décide certains cas avec la sortie du système affichée et les autres sans, le partage étant tiré au hasard pour chaque personne, dans un ordre aléatoire. Le partage doit être aléatoire, ou la suite entière dans chaque condition : un partage choisi par la personne, par le système ou selon la difficulté rend la réponse fausse d'une façon que l'intervalle ne couvre pas, et Oloproof ne peut pas le voir dans le fichier. Chaque personne décide seule ; une équipe qui discute des cas compte pour une personne. Chaque cas a une réponse de référence, décidée indépendamment. Deux plans sont décidés, et ils répondent à des questions différentes. Croisé : chaque personne voit chaque cas une fois, dans une condition, si bien que la réponse est ce que la sortie fait à une décision. Avant et après : chaque personne décide d'abord un cas seule, puis à nouveau après avoir vu la sortie, si bien que la réponse est un second regard avec la sortie face à un premier regard sans elle, ce qui mêle l'effet de la sortie à celui de regarder à nouveau. Dans ce plan, la décision sans la sortie doit venir en premier ; un fichier qui montre le contraire est signalé. Un fichier où chaque cas a été décidé une fois dans chaque condition par deux personnes différentes est signalé comme clairsemé, et il est décrit mais jamais décidé.

Écrivez une ligne par décision, en CSV avec un en-tête ou en JSONL :

Colonne	Ce qu'elle contient
case	L'identifiant du cas
reviewer	Qui a décidé
condition	with (la sortie était affichée) ou without
decision	Ce que la personne a décidé ; vide quand aucune décision n'a été enregistrée
reference	La bonne réponse pour le cas
ai_output	Ce que le système a dit, sur les lignes with la sortie
started_at, decided_at	Facultatif : heures ISO 8601 ou secondes, pour le temps de décision

Les décisions, références et sorties sont comparées comme du texte après suppression des espaces aux extrémités : écrivez donc chaque étiquette d'une seule façon. Copiez l'exemple avec oloproof init --example human-ai : trente affirmations triées par huit personnes, tirées d'un générateur à graine.

oloproof human-ai check decisions.csv
oloproof human-ai report decisions.csv
oloproof human-ai gate decisions.csv --policy policy.yaml

check lit le fichier et dit à quoi il peut répondre. report donne chaque mesure et ne décide rien. gate décide chaque règle d'une politique et sort avec 0 sur PASS, 1 sur FAIL, 3 sur INSUFFICIENT_EVIDENCE et 4 sur MANUAL_REVIEW. Chacune accepte --json. Le fichier est lu sur votre machine et n'est jamais stocké ni envoyé.

Avec moins sans

La réponse principale est la moyenne, sur les personnes, de l'exactitude de chaque personne avec la sortie affichée moins sa propre exactitude sans elle. Chaque personne compte une fois, quel que soit le nombre de cas qu'elle a décidés, si bien que quelques personnes qui font l'essentiel du travail ne peuvent pas masquer ce que la sortie fait à toutes les autres. La réponse porte sur les personnes qui utiliseront le système, si les personnes de l'étude ont été tirées parmi elles, sur les cas de l'étude, et sur d'autres seulement dans la mesure où ils leur ressemblent.

L'intervalle est celui qu'Oloproof utilise pour toute moyenne bornée, appliqué aux gains des personnes. Il ne fait aucune hypothèse sur la répartition des gains : si une personne sur cinq suit le système dans ses erreurs, l'intervalle en tient compte. Chaque côté est juste avec la confiance annoncée quel que soit le nombre de personnes, si bien qu'un seuil minimum n'est pas franchi par chance plus souvent qu'annoncé. Le prix est la largeur : avec six personnes, l'intervalle a une largeur d'environ 1,2 sur une échelle de -1 à 1, avec dix personnes d'environ 0,8, et en dessous d'une quarantaine de personnes une règle décidera rarement, sauf si le gain est grand. Quand l'intervalle est plus large que 0,5, le rapport dit que l'étude ne peut pas décider un seuil utile et combien de personnes il lui faudrait, à peu près. Un intervalle qui traiterait chaque décision comme indépendante serait bien trop étroit (la grille de couverture l'a mesuré couvrant la vraie valeur dans 39 % des cas seulement, pour 95 % annoncés). Une décision manquante est complétée comme fausse avec la sortie pour la borne inférieure et comme juste avec elle pour la borne supérieure, si bien que l'intervalle tient quelles qu'aient été les décisions manquantes, et le rapport montre l'étendue de l'estimation sur les deux complétions.

La méthode a été admise par un audit indépendant le 3 novembre 2026, aux conditions ci-dessus : des personnes qui décident seules, une répartition aléatoire et, dans une étude avant-après, la décision sans la sortie d'abord. Une règle sur accuracy_difference décide PASS, FAIL ou INSUFFICIENT_EVIDENCE. Elle exige au moins deux personnes ayant décidé dans les deux conditions ; avec moins, une règle donne INSUFFICIENT_EVIDENCE.

La confiance accordée

Chaque taux compte des décisions ; son dénominateur dit lesquelles.

Taux	Compte	Sur
agreement	décisions égales à la sortie du système	décisions avec la sortie
over_reliance	décisions en accord avec le système	décisions où le système se trompait
correct_override	décisions conformes à la référence	décisions où le système se trompait
harmful_override	décisions qui diffèrent du système	décisions où le système avait raison
accuracy_with, accuracy_without	décisions conformes à la référence	décisions dans cette condition
system_accuracy	cas où la sortie est conforme à la référence	cas avec une sortie

Chaque taux a l'intervalle exact qu'Oloproof utilise pour tout taux, les décisions manquantes étant complétées dans les deux sens. Cet intervalle suppose des décisions indépendantes. Quand une personne ou un cas apparaît plus d'une fois dans le dénominateur d'un taux, comme dans toute étude réelle, le taux est rapporté et une règle qui s'y appuie donne MANUAL_REVIEW : des personnes répétées rendent l'intervalle trop étroit, et Oloproof ne décidera pas sur lui.

Le temps de décision est le nombre médian de secondes par condition, avec son intervalle, rapporté et jamais utilisé comme porte.

Une politique

confidence: 0.95
rules:
  - id: people-decide-better
    metric: accuracy_difference
    minimum: 0.0
  - id: few-follow-a-wrong-suggestion
    metric: over_reliance
    maximum: 0.5

Chaque règle nomme une métrique et un seuil. Un minimum passe quand la borne inférieure de l'intervalle l'atteint ou le dépasse, et échoue quand la borne supérieure est en dessous ; un maximum en est le miroir. Tout le reste est INSUFFICIENT_EVIDENCE.

Ce que cela ne peut pas vous dire

Cela vaut pour les personnes parmi lesquelles celles de l'étude ont été tirées, sur des cas comme ceux de l'étude. Des personnes formées autrement, ou choisies parce qu'elles apprécient le système, forment une autre population.
Une étude avant et après mesure un second regard avec la sortie face à un premier regard sans elle, pas la sortie seule.
Des personnes qui se savent étudiées peuvent vérifier le système plus soigneusement qu'au travail.
Les réponses de référence sont tenues pour justes. Si elles viennent des mêmes personnes, ou du système, l'étude mesure l'accord, pas l'exactitude.
La lecture des décisions depuis la file de revue hébergée n'est pas construite : exportez-les vers le fichier ci-dessus.