Giới thiệu
Chúng tôi xây dựng lớp đo lường.
Các nhóm phát hành thay đổi cho hệ thống AI mỗi tuần mà không có cách nào nói được thay đổi gần nhất có làm hệ thống tốt hơn hay không. Oloproof là phần của stack trả lời câu hỏi đó bằng bằng chứng: một ước lượng, độ bất định của nó, và một quyết định mà bạn có thể kiểm tra.
Cách chúng tôi quyết định
Dựa trên khoảng, không dựa trên ước lượng
Một quy tắc đạt khi toàn bộ khoảng vượt qua ngưỡng của nó và không đạt khi toàn bộ khoảng không chạm tới ngưỡng. Mọi trường hợp ở giữa được báo cáo là không đủ bằng chứng, không bao giờ được làm tròn thành đạt.
Điều chúng tôi tuyên bố
Không điều gì chúng tôi không thể tái lập
Một phương pháp thống kê chỉ vào sản phẩm khi có ghi chú bằng văn bản, lưới độ phủ và một cuộc kiểm toán. Trước đó, quy tắc cần đến nó sẽ thất bại an toàn thay vì mượn nó.
Bằng chứng nằm ở đâu
Ở chỗ bạn, theo mặc định
Các lần chạy cục bộ không bao giờ rời khỏi máy của bạn. Một lần push mang theo chỉ số, khoảng và quyết định, và để đầu vào thô, đầu ra và trace ở lại máy, trừ khi dự án của bạn quy định khác.
Giám khảo
Được đo trước khi làm cổng chặn
Một giám khảo LLM được đối chiếu với nhãn của con người, dựa trên cận dưới của mức đồng thuận, trước khi được phép quyết định một bản phát hành.
Mô hình ngôn ngữ
Đứng trên bằng chứng, không nằm trong nó
Mô hình có thể chấm, giải thích và đề xuất thí nghiệm tiếp theo. Chúng không bao giờ tự đặt ra phương pháp thống kê hay đưa ra quyết định phát hành.
Chi phí
Không bao giờ trả hai lần cho cùng một bằng chứng
Mỗi lần thực thi và mỗi phán định được lưu một lần, theo nội dung của nó. Chạy lại một suite không thay đổi sẽ dùng lại những gì đã có.
Dùng để làm gì
Nó có hoạt động không? Với các kịch bản và tiêu chí bạn đã khai báo, có nêu rõ mẫu số.
Nó thất bại ở đâu? Kể cả những lát cắt và thành phần mà một tỷ lệ tổng thể che khuất.
Chúng ta chắc chắn đến mức nào? Mỗi con số dẫn tới một quyết định đều mang theo độ bất định của nó.
Sau này có bảo vệ được không? Hồ sơ đằng sau một kết quả được lưu giữ, để người khác có thể kiểm tra.
Liên hệ
- Email[email protected]
- Cách hoạt độngĐọc tài liệu
- Cách chúng tôi xử lý dữ liệu của bạnBảo mật