Skip to content

Giới thiệu

Chúng tôi xây dựng lớp đo lường.

Các nhóm phát hành thay đổi cho hệ thống AI mỗi tuần mà không có cách nào nói được thay đổi gần nhất có làm hệ thống tốt hơn hay không. Oloproof là phần của stack trả lời câu hỏi đó bằng bằng chứng: một ước lượng, độ bất định của nó, và một quyết định mà bạn có thể kiểm tra.

Cách chúng tôi quyết định

Dựa trên khoảng, không dựa trên ước lượng

Một quy tắc đạt khi toàn bộ khoảng vượt qua ngưỡng của nó và không đạt khi toàn bộ khoảng không chạm tới ngưỡng. Mọi trường hợp ở giữa được báo cáo là không đủ bằng chứng, không bao giờ được làm tròn thành đạt.

Điều chúng tôi tuyên bố

Không điều gì chúng tôi không thể tái lập

Một phương pháp thống kê chỉ vào sản phẩm khi có ghi chú bằng văn bản, lưới độ phủ và một cuộc kiểm toán. Trước đó, quy tắc cần đến nó sẽ thất bại an toàn thay vì mượn nó.

Bằng chứng nằm ở đâu

Ở chỗ bạn, theo mặc định

Các lần chạy cục bộ không bao giờ rời khỏi máy của bạn. Một lần push mang theo chỉ số, khoảng và quyết định, và để đầu vào thô, đầu ra và trace ở lại máy, trừ khi dự án của bạn quy định khác.

Giám khảo

Được đo trước khi làm cổng chặn

Một giám khảo LLM được đối chiếu với nhãn của con người, dựa trên cận dưới của mức đồng thuận, trước khi được phép quyết định một bản phát hành.

Mô hình ngôn ngữ

Đứng trên bằng chứng, không nằm trong nó

Mô hình có thể chấm, giải thích và đề xuất thí nghiệm tiếp theo. Chúng không bao giờ tự đặt ra phương pháp thống kê hay đưa ra quyết định phát hành.

Chi phí

Không bao giờ trả hai lần cho cùng một bằng chứng

Mỗi lần thực thi và mỗi phán định được lưu một lần, theo nội dung của nó. Chạy lại một suite không thay đổi sẽ dùng lại những gì đã có.

Dùng để làm gì

Nó có hoạt động không? Với các kịch bản và tiêu chí bạn đã khai báo, có nêu rõ mẫu số.

Nó thất bại ở đâu? Kể cả những lát cắt và thành phần mà một tỷ lệ tổng thể che khuất.

Chúng ta chắc chắn đến mức nào? Mỗi con số dẫn tới một quyết định đều mang theo độ bất định của nó.

Sau này có bảo vệ được không? Hồ sơ đằng sau một kết quả được lưu giữ, để người khác có thể kiểm tra.

Liên hệ