Biết thay đổi chỉ mục của bạn đã làm gì.

Tỷ lệ trúng, recall, MRR và nDCG ở ngưỡng cắt bạn chọn, đọc từ các ứng viên đã ghi lại; tính hợp lệ của trích dẫn so với ngữ cảnh mà mô hình được cung cấp; các giám khảo về tính có căn cứ và mức hỗ trợ trích dẫn đọc ngữ cảnh đó. Ngưỡng cắt sâu hơn số kết quả bộ truy xuất trả về sẽ bị từ chối, không bị chấm là trượt.

Mỗi giai đoạn được lưu bộ nhớ đệm riêng, nên thay đổi prompt không bao giờ phải tìm kiếm lại. Chẩn đoán chạy lại các trường hợp thất bại với đoạn văn chuẩn bên cạnh một nhóm đối chứng và gắn nhãn mỗi trường hợp là truy xuất bỏ sót, bị đẩy khỏi thứ hạng, bị rơi khỏi ngữ cảnh, hoặc lỗi tạo sinh.

Phiên bản ứng viên và phiên bản cơ sở được ghép cặp theo từng trường hợp với các biên mà bạn khai báo. Một quy tắc chỉ đạt khi khoảng của nó vượt qua biên; một khoảng quá rộng để kết luận sẽ chặn bản phát hành vì không đủ bằng chứng, và bằng chứng được lưu cạnh quyết định.