Langsung ke konten

Panduan

Daftar bahaya

Bahaya adalah sesuatu yang bisa salah pada sistem Anda, ditulis bersama pemiliknya dan apa yang mengukurnya. Daftar ini berada di samping kebijakan rilis dalam hazards.yaml, sehingga ditinjau dalam pull request seperti bagian proyek lainnya, dan setiap run mencatat versi yang dipakai untuk membacanya.

Menulis daftar

version: 1
hazards:
  - id: rag-leak
    title: A poisoned document makes the assistant disclose a customer's data
    systems: [support-bot]
    triggers: [a retrieved document carries an instruction]
    exposed: customers whose tickets the assistant reads
    severity: {level: 5, narrative: customer data leaves the company}
    occurrence: {level: 2}
    detectability: {level: 3}
    controls: [retrieved text is quoted, never obeyed]
    residual: Low while the leak ceiling holds; reviewed after every model change.
    owner: [email protected]
    review_by: 2026-12-01
    state: open
    measured_by: [no-leak]
    tested_by: [safety]

Setiap bahaya menyebut dalam measured_by aturan yang mengukurnya. Aturan itu harus berupa batas atas dari release.yaml: aturan max: atau aturan max_failures: (Batas atas risiko). Batas bawah mengukur seberapa sering sesuatu berjalan baik, sehingga bahaya yang diukur dengan batas bawah ditolak. systems dan tested_by mempersempit sistem dan suite tempat bukti dibaca; jika tidak ada, semuanya dihitung.

Keparahan, kemunculan, dan kemampuan deteksi adalah peringkat ordinal analisis mode kegagalan dan dampaknya, dari 1 sampai 5, yang diberikan oleh orang. Oloproof menampilkannya seperti yang diberikan dan tidak pernah menggabungkannya: tidak ada angka prioritas risiko maupun skor risiko sisa, karena hasil kali peringkat ordinal adalah ketelitian yang tidak pernah diukur siapa pun. Risiko sisa adalah kalimat pemiliknya. state sebuah bahaya (open, mitigated, accepted, atau closed) milik tim, bukan sebuah keputusan.

Memeriksanya

oloproof hazards check

Pemeriksaan menolak daftar yang bahayanya menyebut aturan yang tidak ada di kebijakan, atau sebuah batas bawah, dan keluar dengan 2. Jika tidak, pemeriksaan mencantumkan setiap bahaya dengan peringkat, pemilik, dan statusnya, memberi tahu tinjauan yang terlambat, dan membaca setiap aturan pengukur pada run terakhir setiap sistem di setiap suite, sebagaimana diputuskan mesin. Bahaya tanpa aturan pengukur dicantumkan sebagai belum diukur, dan aturan yang tidak diputuskan run terakhir mana pun disebutkan. --json menulis laporan yang sama untuk pipeline.

Di mana ia tampil

oloproof run mencatat daftar bersama run, oloproof push membawanya ke ruang kerja Anda, dan oloproof export menulisnya di samping bundle yang dibaca workbench lokal. Halaman Safety and risk menampilkan setiap bahaya di atas batas atas, dengan peringkat, kontrol, dan status batas atas yang mengukurnya, masing-masing tertaut ke buktinya. Jika sebuah daftar berubah lalu kembali seperti semula, daftar yang berlaku adalah daftar yang dicatat run terbaru, bukan yang terakhir ditulis. Rekaman keputusan menyebut daftar yang dicatat run-nya; record verify melaporkannya sebagai pernyataan tim.

Langkah selanjutnya

  • Batas atas risiko membahas aturan yang mengukur sebuah bahaya.
  • Gating membahas bagaimana batas atas menahan sebuah rilis.