ガイド
はじめに
Oloproof が何をするのか、いつ使い、いつ使うべきでないのか、そしてこれらのガイドを読む順序を説明します。1 つのアプリケーションの最初の評価から、バージョンの比較、レビュー、CI、そして正確な契約までを扱います。
Oloproof が行うこと
Oloproof は、固定されたケースの集合に対して AI アプリケーションを実行し、選んだ評価器で各出力を確認し、その結果を区間付きの割合に変換します。そのうえで、あなたが書いたリリースポリシーが各ルールを PASS、FAIL、INSUFFICIENT_EVIDENCE、MANUAL_REVIEW のいずれかに判断し、コマンドはその判断に応じて終了するので、CI がそれを利用できます。すべてはあなたのマシン上で実行され、実行をホストされたワークスペースにプッシュしない限り、何もマシンの外に出ません。用語は 基本概念 で定義しています。
信頼できるケースでアプリケーションが定めた基準を満たすかどうか、その答えがどれほど確かか、そして変更で良くなったのか悪くなったのかを知る必要があるときに使ってください。Oloproof はあなたのシステムを呼び出しますが、ホストも、サンドボックス化も、リセットもしません。アプリケーションは自身の状態、セッション、ツールの副作用を自分で管理します。システムの種類ごとに何が構築済みで何がそうでないかは、導入を決める前に 現在動作するもの を読んでください。
これらのガイドは Oloproof 0.1.0a5 を説明しています。pip show oloproof でインストール済みのバージョンを表示できます。古いバージョンには、oloproof init --example のように、ここで示すコマンドやフラグがない場合があり、pip install --upgrade --pre oloproof で最新にできます。
道のり
| ステップ | 行うこと | 読むもの |
|---|---|---|
| 1 | Oloproof が何をし、いつ使うかを知る | このページ、基本概念、現在動作するもの |
| 2 | ベースラインなしで最初のアプリケーションを評価する | クイックスタート |
| 3 | システムの種類に合ったガイドを選ぶ | 下の表 |
| 4 | 失敗を調べ、結果を理解する | スイート、エラー、クラスタ化されたケース、スライス |
| 5 | システムを変更し、バージョンを比較する | 比較、比較ルール |
| 6 | 人によるレビュー、共同作業、CI を加える | ジャッジ、ゲート、CI、通知 |
| 7 | 正確な技術的契約を調べる | 設定、SDK リファレンス、結果、CLI |
最初の評価にベースラインは不要です。問うのは、アプリケーションの 1 つのバージョンが要件を満たすかどうかです。2 つのバージョンの比較はステップ 5 で、比較する価値のある実行ができてからです。
システムの種類を選ぶ
| あなたのシステム | 最初に読むもの |
|---|---|
| 分類器、ルーター、構造化出力（ラベル、JSON オブジェクト） | 分類 |
| 自由テキスト：回答、要約、抽出 | テキスト生成 |
| 任意の言語で書かれ、HTTP で到達するサービス | HTTP エンドポイント |
| 検索拡張生成 | RAG |
| ツールを使うエージェント、または複数のエージェント | エージェント |
| 学習済みの予測モデル（分類または回帰） | 予測モデル |
| マルチターンの会話 | 会話 |
画像、音声、動画はネイティブにはサポートされていません。ケースは URL やエンコードされたファイルをシステムに渡すことができ、カスタム評価器で出力を確認できますが、ジャッジが見るのは JSON テキストだけです。