リランカーは改善に見えた。エビデンスでは判断できなかった。

このアシスタントにはすでに優れたハーネスがありました。ゴールデンパネル、LLM ジャッジ、そしてリリースゲートです。ゲートは、パネルの規模にかかわらず、点推定値を目標値と比べていました。その読み方では、リランカーは「1 位が正しいページ」を 12.7 ポイント押し上げ、そのままリリースされていたはずです。さらに、リリースのゲートに使われていた忠実性スコアでは、ジャッジが採点できなかった回答は完全な失敗として数えられていました。

Oloproof は両アームが回答した質問で 2 つのアームを対応づけ、4 件のサーバーエラーと 2 件の解析不能な判定を欠損として記録し、それらを包含するよう各区間を広げました。3 つの差はいずれも大きくゼロをまたいでいます。このパネルでは、リランカーが役立つのか害になるのかを判断できません。

23 件の失敗回答を、検索されたパッセージの代わりに正解パッセージを入れて再実行したところ、15 件が回復しました。何も変えずに再実行する対照も並べています。診断は 5 件を検索の取りこぼし、7 件を生成の失敗とラベル付けし、11 件を未解決として残し、次の実験として検索の深さとインデックスの設定を挙げました。

3 回繰り返して測定すると、何も変えていないのに約 9 件に 1 件のケースで判定が変わり、呼び出しの 13.8% がサーバーエラーを返しました。これらのエラーを一時的なものと宣言すると、22 件の欠損ケースのうち 18 件が回復し、区間は 39% 狭まりました。続いてアシスタントの十九個のフィーチャーフラグを総当たりしたところ、76 件の対応のある比較が得られましたが、結論が出たものはひとつもなく、有望な上位 3 つに結論を出すにはあと約 40 問が必要です。

1 つのシステム、1 つのコーパス、そして自らの問いに答えを出すには小さすぎるパネルです。すべての回答スコアの背後にあるジャッジは人による検証を受けておらず、診断もそう明記しています。パネルはシングルターンです。24 件の会話による追加の実行では、シングルターンのパネルでは起こりえない再現可能な失敗が 2 つ見つかりました。その中には、アシスタントが 1 ターン前に自分が言ったことを否定するものも含まれます。これはベンチマークではなく、顧客の事例でもありません。