So sánh
Oloproof so với kiểm thử prompt tùy hứng.
Kiểm tra ngẫu nhiên trong playground nhanh và thực sự hữu ích khi bạn đang khám phá. Nó không còn đủ ngay khi một thay đổi đến tay người dùng.
| Câu hỏi | Kiểm tra ngẫu nhiên trong playground | Oloproof |
|---|---|---|
| Chất lượng có thay đổi không? | Cảm nhận từ một vài đầu ra | Một chênh lệch với khoảng 95% trên các trường hợp ghép cặp, và một quyết định đưa ra dựa trên khoảng đó |
| Thay đổi với ai? | Không rõ | Theo từng lát cắt đã khai báo: ngôn ngữ, ý định hoặc bất kỳ khóa metadata nào, công cụ đầu tiên mà một tác tử gọi, tuyến của nó |
| Quý sau bạn có chạy lại được không? | Không: các prompt và trường hợp đã mất | Có: bộ kiểm thử, phiên bản hệ thống và các phiên bản bộ đánh giá được định địa chỉ theo nội dung, và một mẫu giữ lại seed của nó |
| Nó có chặn được một bản phát hành tồi không? | Chỉ khi có người nhớ xem | Cổng thoát với mã khác không và job CI thất bại: 1 khi một quy tắc thất bại, 3 khi bằng chứng chưa đủ để quyết định |
| Bạn cho bộ phận rủi ro hoặc khách hàng xem gì? | Ảnh chụp màn hình trong một luồng thảo luận | Một gói đã xuất: lần chạy, bộ kiểm thử, hệ thống, các bộ đánh giá, các trường hợp và các phê duyệt của nó |
| Thời gian đến tín hiệu đầu tiên | Vài phút | Vài phút ở máy cục bộ, rồi trên mọi thay đổi mà CI của bạn chạy nó |
Khi nào kiểm tra ngẫu nhiên vẫn thắng
Khám phá ban đầu, gỡ lỗi một đầu ra kỳ lạ duy nhất và các kiểm tra hợp lý khi bạn viết prompt. Hãy tiếp tục làm vậy. Bộ kiểm thử đánh giá là thứ bạn xây dựng khi hành vi đủ quan trọng để cần bảo vệ.