Hướng dẫn
Sổ đăng ký mối nguy
Mối nguy là điều có thể xảy ra sai với hệ thống của bạn, được ghi lại cùng người chịu trách nhiệm và thứ đo nó. Sổ đăng ký nằm cạnh chính sách phát hành trong hazards.yaml, nên được xem xét trong pull request như phần còn lại của dự án, và mỗi lần chạy ghi lại phiên bản mà nó được đọc theo.
Viết sổ đăng ký
version: 1
hazards:
- id: rag-leak
title: A poisoned document makes the assistant disclose a customer's data
systems: [support-bot]
triggers: [a retrieved document carries an instruction]
exposed: customers whose tickets the assistant reads
severity: {level: 5, narrative: customer data leaves the company}
occurrence: {level: 2}
detectability: {level: 3}
controls: [retrieved text is quoted, never obeyed]
residual: Low while the leak ceiling holds; reviewed after every model change.
owner: [email protected]
review_by: 2026-12-01
state: open
measured_by: [no-leak]
tested_by: [safety]Mỗi mối nguy nêu trong measured_by các quy tắc đo nó. Đó phải là các mức trần trong release.yaml: một quy tắc max: hoặc một quy tắc max_failures: (Mức trần rủi ro). Mức sàn đo tần suất mọi việc diễn ra đúng, nên mối nguy được đo bằng mức sàn sẽ bị từ chối. systems và tested_by thu hẹp các hệ thống và bộ kiểm thử mà bằng chứng được đọc từ đó; nếu bỏ trống, tất cả đều được tính.
Mức độ nghiêm trọng, tần suất xảy ra và khả năng phát hiện là các điểm thứ bậc của phân tích dạng lỗi và tác động, từ 1 đến 5, do con người đưa ra. Oloproof hiển thị chúng đúng như đã được đưa ra và không bao giờ kết hợp chúng: không có số ưu tiên rủi ro hay điểm rủi ro còn lại, vì tích của các điểm thứ bậc là một độ chính xác mà không ai đo được. Rủi ro còn lại là câu của người chịu trách nhiệm. state của một mối nguy (open, mitigated, accepted hoặc closed) là của nhóm, không bao giờ là một quyết định.
Kiểm tra
oloproof hazards checkLệnh kiểm tra từ chối một sổ đăng ký có mối nguy nêu một quy tắc không có trong chính sách, hoặc một mức sàn, và thoát với 2. Nếu không, nó liệt kê từng mối nguy với điểm, người chịu trách nhiệm và trạng thái, báo khi việc xem xét quá hạn, và đọc từng quy tắc đo ở lần chạy mới nhất của mỗi hệ thống trên mỗi bộ kiểm thử, đúng như công cụ đã quyết định. Mối nguy không có quy tắc đo được liệt kê là chưa được đo, và quy tắc mà không lần chạy mới nhất nào quyết định sẽ được nêu tên. --json ghi cùng báo cáo đó cho một pipeline.
Nơi nó xuất hiện
oloproof run ghi sổ đăng ký cùng lần chạy, oloproof push đưa nó tới không gian làm việc của bạn, và oloproof export ghi nó cạnh các gói mà bàn làm việc cục bộ đọc. Trang Safety and risk hiển thị từng mối nguy phía trên các mức trần, với điểm, biện pháp kiểm soát và trạng thái của các mức trần đo nó, mỗi mục liên kết tới bằng chứng. Khi một sổ đăng ký đã thay đổi rồi đổi lại, sổ hiện hành là sổ mà lần chạy mới nhất đã ghi, không phải sổ được viết cuối cùng. Một bản ghi quyết định nêu sổ đăng ký mà lần chạy của nó đã ghi; record verify báo nó là lời của nhóm.
Tiếp theo
- Mức trần rủi ro nói về các quy tắc đo một mối nguy.
- Gating nói về cách một mức trần chặn việc phát hành.