Ketahui apa dampak perubahan indeks Anda.

Hit rate, recall, MRR, dan nDCG pada cutoff pilihan Anda, dibaca dari kandidat yang tercatat; validitas sitasi terhadap konteks yang diberikan kepada model; juri keberdasaran dan dukungan sitasi yang membacanya. Cutoff yang lebih dalam daripada yang dikembalikan retriever ditolak, bukan dinilai sebagai meleset.

Setiap tahap di-cache tersendiri, jadi perubahan prompt tidak pernah mencari ulang. Diagnosis menjalankan ulang kasus gagal dengan passage yang benar di samping kontrol dan melabeli masing-masing sebagai retrieval meleset, tergeser dari peringkat, hilang dari konteks, atau kegagalan generasi.

Kandidat dan baseline dipasangkan kasus demi kasus terhadap margin yang Anda deklarasikan. Sebuah aturan lolos hanya jika intervalnya melewati margin; interval yang terlalu lebar untuk memastikan memblokir rilis sebagai bukti tidak cukup, dengan bukti disimpan di samping keputusan.