Hướng dẫn
Bắt đầu tại đây
Oloproof làm gì, khi nào nên dùng và khi nào không, và thứ tự đọc các hướng dẫn này: từ lần đánh giá đầu tiên của một ứng dụng tới việc so sánh các phiên bản, xem xét, CI và các hợp đồng chính xác.
Oloproof làm gì
Oloproof chạy ứng dụng AI của bạn trên một tập trường hợp cố định, kiểm tra từng đầu ra bằng các bộ đánh giá bạn chọn, và biến kết quả thành các tỷ lệ kèm khoảng. Một chính sách phát hành do bạn viết sau đó quyết định mỗi quy tắc là PASS, FAIL, INSUFFICIENT_EVIDENCE hoặc MANUAL_REVIEW, và lệnh thoát theo quyết định đó để CI có thể dùng. Mọi thứ chạy trên máy của bạn; không có gì rời khỏi máy trừ khi bạn push một lần chạy lên một không gian làm việc được lưu trữ. Các thuật ngữ được định nghĩa trong Khái niệm cốt lõi.
Hãy dùng nó khi bạn cần biết một ứng dụng có đạt một mức đã nêu trên các trường hợp bạn tin cậy hay không, câu trả lời đó chắc chắn đến đâu, và một thay đổi làm nó tốt lên hay tệ đi. Oloproof gọi hệ thống của bạn; nó không lưu trữ, cô lập hay đặt lại hệ thống, và ứng dụng của bạn tự quản lý trạng thái, phiên và các tác dụng phụ của công cụ. Để biết những gì đã và chưa được xây dựng, theo từng loại hệ thống, hãy đọc Những gì hoạt động hôm nay trước khi bạn quyết định dùng.
Các hướng dẫn này mô tả Oloproof 0.1.0a5. pip show oloproof in ra phiên bản bạn đã cài; một phiên bản cũ hơn có thể thiếu một lệnh hoặc cờ được nêu ở đây, chẳng hạn oloproof init --example, và pip install --upgrade --pre oloproof cập nhật nó.
Hành trình
| Bước | Bạn làm gì | Đọc |
|---|---|---|
| 1 | Tìm hiểu Oloproof làm gì và khi nào nên dùng | Trang này, Khái niệm cốt lõi, Những gì hoạt động hôm nay |
| 2 | Đánh giá ứng dụng đầu tiên của bạn, không cần đường cơ sở | Bắt đầu nhanh |
| 3 | Chọn một hướng dẫn cho loại hệ thống của bạn | Bảng bên dưới |
| 4 | Xem xét các thất bại và hiểu kết quả | Bộ kiểm thử, Lỗi, Trường hợp theo cụm, Lát cắt |
| 5 | Thay đổi hệ thống và so sánh các phiên bản | So sánh, Quy tắc so sánh |
| 6 | Thêm việc con người xem xét, cộng tác và CI | Giám khảo, Cổng, CI, Thông báo |
| 7 | Tra cứu các hợp đồng kỹ thuật chính xác | Cấu hình, Tham chiếu SDK, Kết quả, CLI |
Lần đánh giá đầu tiên không cần đường cơ sở: nó hỏi xem một phiên bản của ứng dụng có đáp ứng yêu cầu của bạn hay không. Việc so sánh hai phiên bản đến ở bước 5, khi bạn đã có một lần chạy đáng để so sánh.
Chọn loại hệ thống của bạn
| Hệ thống của bạn | Bắt đầu với |
|---|---|
| Một bộ phân loại, bộ định tuyến hoặc đầu ra có cấu trúc (một nhãn, một đối tượng JSON) | Phân loại |
| Văn bản tự do: câu trả lời, bản tóm tắt, trích xuất | Sinh văn bản |
| Một dịch vụ bạn gọi qua HTTP, bằng bất kỳ ngôn ngữ nào | Một endpoint HTTP |
| Sinh văn bản tăng cường truy xuất | RAG |
| Một agent dùng công cụ, hoặc nhiều agent | Agent |
| Một mô hình dự đoán đã huấn luyện (phân loại hoặc hồi quy) | Mô hình dự đoán |
| Một cuộc hội thoại nhiều lượt | Hội thoại |
Hình ảnh, âm thanh và video không được hỗ trợ sẵn: một trường hợp có thể mang một URL hoặc một tệp đã mã hóa đi qua hệ thống của bạn, và một bộ đánh giá tùy chỉnh có thể kiểm tra đầu ra, nhưng giám khảo chỉ thấy văn bản JSON.