Chuyển đến nội dung
Tài liệu
Nhật ký thay đổiGiáMở bảng điều khiển

Hướng dẫn

Những gì một đánh giá không thể cho bạn biết

Mọi kết quả của Oloproof là một tuyên bố đo lường với các giới hạn được nêu rõ. Trang này liệt kê các giới hạn đúng với mọi loại hệ thống; mỗi trang hướng dẫn theo hệ thống bổ sung giới hạn riêng dưới mục "Điều này không thể cho bạn biết".

Những gì không kết quả nào cho bạn biết

  • Đầu vào không giống bộ kiểm thử. Một quyết định là tuyên bố về tổng thể mà bộ kiểm thử lấy mẫu, và nó chỉ tốt bằng mức bộ kiểm thử là một mẫu công bằng của những gì hệ thống sẽ gặp. Oloproof không thể kiểm tra điều đó; một loại đầu vào mới hay lưu lượng tháng sau nằm ngoài nó (Một kết quả đi xa đến đâu).
  • Rằng một kiểm tra không bao giờ thất bại. Một kiểm tra đạt trên cả 300 trường hợp chặn được tần suất nó thất bại (tối đa khoảng 1,2% ở độ tin cậy 95%); đó không phải là một chứng minh.
  • Lần sau hệ thống của bạn trả lời thế nào. Một lần chạy đo một câu trả lời cho mỗi trường hợp trừ khi bạn yêu cầu replicates: (Viết một bộ kiểm thử).
  • Điểm số của một judge chưa được kiểm tra có nghĩa gì. Một judge chưa bao giờ được so với nhãn của con người vẫn là UNVALIDATED, và tỷ lệ đạt của nó là ý kiến của judge. Một chính sách có require_validated_evaluators: true không cho phép nó quyết định (Judge).
  • Rằng một quy tắc đã thất bại khi nó nói "chưa được xác lập". INSUFFICIENT_EVIDENCE nghĩa là khoảng vẫn còn vắt qua ngưỡng, không phải hệ thống đã không đạt; oloproof plan cho biết cần thêm bao nhiêu trường hợp để quyết định.
  • Chi phí hay độ trễ, trừ khi một quy tắc yêu cầu. Một quyết định phát hành bao gồm các quy tắc mà chính sách của bạn khai báo; một ngân sách cho một phân vị độ trễ hay cho chi phí trên mỗi tác vụ được chấp nhận là một quy tắc max: bạn thêm vào (Gating).
  • Một câu trả lời được tái sử dụng có còn hiện hành không. Một đầu ra hay một phán quyết trong bộ nhớ đệm là cái trước đó, được tái sử dụng vì đầu vào của nó cho cùng một hash; một thay đổi mà hash không thấy (một mô hình đã đổi sau cùng một tên, một tệp hệ thống đọc nhưng không import, một biến môi trường) thì không được thấy (Phiên bản, khóa bộ nhớ đệm và việc mất hiệu lực).
  • Một lát cắt bạn chọn sau khi đã nhìn. Kết quả lát cắt là các khẳng định dưới phép hiệu chỉnh đã khai báo cho các lát cắt bạn đã khai báo; một cách cắt được chọn vì trông thú vị không mang bảo đảm như vậy, và lát cắt không bao giờ quyết định gate (Lát cắt).
  • Vì sao một trường hợp thất bại. Evaluator nói điều gì đã xảy ra; một nguyên nhân cần một can thiệp bên cạnh một đối chứng, và ngay cả khi đó Oloproof nêu một yếu tố để kiểm tra, không phải một nguyên nhân đã được xác lập.
  • Các trường hợp sắp theo thời gian như thể chúng độc lập. Một bộ kiểm thử khai báo time_order cho ra MANUAL_REVIEW thay vì một khoảng giả định các trường hợp độc lập (Trường hợp theo cụm).
  • Một chỉ số không có khoảng được chấp nhận. Một quy tắc cần đến khoảng đó trả về MANUAL_REVIEW hoặc INSUFFICIENT_EVIDENCE kèm lý do thay vì mượn một phương pháp chưa được xác thực.

Theo loại hệ thống

Tiếp theo