À propos
Nous construisons la couche de mesure.
Les équipes livrent chaque semaine des changements à leurs systèmes d’IA sans pouvoir dire si le dernier les a améliorés. Oloproof est la partie de la stack qui répond à cette question avec des preuves : une estimation, son incertitude et une décision que vous pouvez vérifier.
Comment nous décidons
Sur l’intervalle, pas sur l’estimation
Une règle passe lorsque l’intervalle entier franchit son seuil et échoue lorsque l’intervalle entier le manque. Tout ce qui se situe entre les deux est signalé comme preuves insuffisantes, jamais arrondi en réussite.
Ce que nous affirmons
Rien que nous ne puissions reproduire
Une méthode statistique entre dans le produit avec une note écrite, une grille de couverture et un audit. D’ici là, une règle qui en aurait besoin échoue par sécurité plutôt que de l’emprunter.
Où vivent les preuves
Chez vous, par défaut
Les exécutions locales ne quittent jamais votre machine. Un envoi transporte les métriques, les intervalles et les décisions, et laisse chez vous les entrées brutes, les sorties et les traces, sauf si votre projet en décide autrement.
Juges
Mesurés avant de faire barrage
Un juge LLM est vérifié par rapport à des annotations humaines, sur la borne inférieure de son accord, avant de pouvoir décider d’une publication.
Modèles de langage
Au-dessus des preuves, pas à l’intérieur
Les modèles peuvent juger, expliquer et suggérer la prochaine expérience. Ils n’inventent jamais de méthode statistique et ne prennent jamais la décision de publication.
Coût
Ne jamais payer deux fois pour les mêmes preuves
Chaque exécution et chaque jugement sont stockés une seule fois, selon leur contenu. Relancer une suite inchangée réutilise ce qu’elle a déjà.
À quoi il sert
Est-ce que ça marche ? Pour les scénarios et les critères que vous avez déclarés, avec le dénominateur indiqué.
Où est-ce que ça échoue ? Y compris dans les segments et les composants qu’un taux global masque.
À quel point en sommes-nous sûrs ? Chaque nombre qui fonde une décision porte son incertitude.
Pourra-t-on le défendre plus tard ? Le relevé derrière un résultat est conservé, pour que quelqu’un d’autre puisse le vérifier.
Nous écrire
- E-mail[email protected]
- FonctionnementLire la documentation
- Comment nous traitons vos donnéesSécurité