Lần chạy được quản lý

Một lần chạy được quản lý thực thi bộ kiểm thử của bạn trên các worker của Oloproof thay vì trên máy của bạn, và bạn theo dõi nó từ trang Jobs hoặc từ terminal. Bạn chỉ cần oloproof login; không cần kết nối cơ sở dữ liệu và không cần runner riêng.

Worker sẽ chạy những gì

Worker gọi hệ thống của bạn qua HTTP. Khai báo nó bằng http: trong oloproof.yaml (Cấu hình):

system:
  name: support-bot
  version: v3
  http:
    url: https://support-bot.example.com/answer
    output_path: answer

Worker từ chối:

• Một hệ thống callable: hoặc rag:, trước khi job được đưa vào hàng đợi. Đó là mã của bạn, và worker của Oloproof không chạy mã của khách hàng; hãy chạy nó trên máy của bạn (oloproof run) rồi đẩy lần chạy lên, hoặc trên một runner do bạn vận hành.
• Một tệp câu trả lời recorded:. Tệp đó ở lại trên máy của bạn; hãy chạy nó cục bộ bằng oloproof run.
• Một địa chỉ không nằm trên internet công cộng: localhost, một tên một nhãn, một địa chỉ riêng, link-local hoặc địa chỉ siêu dữ liệu đám mây. Mỗi lời gọi được kiểm tra ngay khi thực hiện, nên một trường hợp như vậy báo lỗi thay vì tới được địa chỉ đó; worker chỉ tới được những gì bất kỳ ai trên internet cũng tới được.
• Các trường hợp tấn công được sinh ra, trừ khi oloproof.yaml khai báo adversarial: {sandboxed: true} (Sinh tấn công). --allow-adversarial chỉ áp dụng cho lần chạy cục bộ.

Chạy một lần

oloproof login
oloproof run --cloud --max-runtime 900

run --cloud gửi các trường hợp trong bộ kiểm thử của bạn tới workspace (một lần chạy được quản lý không thể thực thi những trường hợp mà nó không có), sau đó đưa job vào hàng đợi và in ra nơi theo dõi nó. Một bộ kiểm thử mà workspace đã giữ đầy đủ sẽ không được gửi lại.

Worker đối chiếu từng trường hợp với digest của nó trước khi giữ bộ kiểm thử, và từ chối bộ nào không khớp. Vì vậy run --cloud tính digest của các trường hợp theo cách thông thường, như worker làm, ngay cả trong một dự án dùng khóa cho digest để giữ lại nội dung (egress:, Kết quả và thực thi): dù sao các trường hợp cũng được gửi đầy đủ, nên dùng khóa sẽ không che giấu được gì. Do đó bộ kiểm thử của lần chạy được quản lý là một bộ khác với bộ mà một lần chạy cục bộ của cùng dự án ghi lại. Một dự án mà workspace đã giữ bằng chứng có khóa (từ một lần push) sẽ bị từ chối: hãy chạy nó bằng oloproof run rồi push lần chạy đó.

--max-runtime là hạn chót của job tính bằng giây, tối đa một ngày, hoặc giới hạn của gói của bạn nếu nhỏ hơn. Một budget: trong oloproof.yaml ràng buộc trên worker giống như khi chạy cục bộ.

Ai được chạy: Owner, Admin hoặc Member của workspace. Reviewer thì không.

Theo dõi

Trang Jobs của dự án hiển thị các trường hợp của mỗi job khi chúng đến: bao nhiêu đã chạy và đã được chấm, số đạt và trượt cho từng phép kiểm tra, và các trường hợp mới nhất. Con số đó là số đếm đến hiện tại, không phải kết quả. Các quyết định được đưa ra khi toàn bộ lần chạy đã được lưu, và lúc đó trang của nó sẽ hiển thị chúng.

Trong terminal:

oloproof job JOB_ID --follow

in ra cùng các con số đó vài giây một lần, sau đó là gate của lần chạy, rồi thoát với mã thoát của gate, nên một pipeline có thể chờ một lần chạy được quản lý như chờ một lần chạy cục bộ (CI). Không có --follow, job báo cáo một lần; một job vẫn đang chạy thoát với mã 2, vì nó chưa phải là một quyết định. --cancel dừng ngay một job đang xếp hàng và dừng một job đang chạy trước lời gọi tiếp theo của nó, giữ lại các trường hợp đã hoàn tất.

Khóa cho giám khảo

Một giám khảo hoặc một hệ thống gọi nhà cung cấp mô hình cần khóa của nó trên worker. Hãy lưu nó một lần:

export OPENAI_API_KEY=...
oloproof credentials set OPENAI_API_KEY
oloproof credentials list

Khóa được đọc từ biến môi trường hoặc đầu vào chuẩn, không bao giờ từ dòng lệnh. Nó được worker mã hóa và chỉ worker đang chạy các job của workspace này mới đọc được; không ai có thể đọc lại nó, và credentials list chỉ hiển thị tên. Sau đó api_key_env: OPENAI_API_KEY của một bộ đánh giá sẽ tìm thấy nó. Một job được quản lý không đọc biến môi trường nào khác. Chỉ Owner hoặc Admin mới được lưu khóa.

Điều này không thể cho bạn biết

• Liệu hệ thống của bạn có hoạt động giống nhau khi được gọi từ mạng của Oloproof và từ mạng của bạn hay không. Worker gọi endpoint của bạn từ internet công cộng; giới hạn tốc độ, khu vực và danh sách cho phép đối xử khác với nó sẽ thay đổi những gì nó đo.
• Bất cứ điều gì về mã mà worker không chạy. Một lần chạy được quản lý đo endpoint bạn đã chỉ định, không phải mã đằng sau nó.

Mọi giới hạn khác trong Những gì một đánh giá không thể cho bạn biết cũng áp dụng ở đây.