이미 실제 업무를 하고 있는 AI를 위해
운영 환경에서 AI가 하는 일을 검토하세요.
운영에 들어가면, Oloproof가 실제 트래픽에서 뽑은 표본을 사람들이 브라우저에서 검토하며, 콘텐츠는 고객 측에 남습니다. 워크스페이스는 누군가 보여 주기로 고른 것이 아니라, 그들이 발견한 것을 바탕으로 결정합니다.
추출
아무도 고르지 않은 표본
수집기는 OpenTelemetry로 트레이스를 받고, 봉인한 매 시간마다 서명된 Merkle 루트로 커밋합니다. 그다음 워크스페이스가 자체 난수로 표본을 뽑고, 뽑힌 트레이스 하나하나를 그 커밋과 대조하므로, 수집기가 봉인한 어떤 트레이스도 추출에서 빼돌릴 수 없습니다.
리뷰
브라우저에서 하는 검토
Owner 또는 Admin이 검토 대기열을 열고 검토자를 지정합니다. 각 검토자는 통과 또는 실패 판정, 선언된 척도의 점수, 또는 두 출력 사이의 블라인드 선호를 남기며, 모두 본인 계정으로 기록됩니다. 측정용으로 뽑힌 항목은 심사의 판정을 가린 채 표시됩니다.
보관
콘텐츠는 고객 측에
기본 송출 정책에서 워크스페이스는 입력도 출력도 보관하지 않습니다. 검토자의 브라우저는 배포가 서명한 5분짜리 티켓으로 고객 네트워크의 수집기에서 각 항목의 콘텐츠를 가져오며, Oloproof는 이를 저장하지 않습니다.
워크스페이스가 결정하는 것
워크스페이스가 뽑은 표본에 대한 통과 또는 실패 판정은 예측 기반 추론으로 심사의 통과율을 보정하고, 워크스페이스는 자체 엔진으로 그 구간을 검증합니다. 직접 봉인한 라벨만, 그것도 서로 독립된 계정의 것만 세며, 모든 실행과 같은 네 가지 상태(통과, 실패, 근거 불충분, 수동 검토)로 결정합니다. 점수와 선호는 저장되고 표시되지만, 그에 맞는 방법이 승인되기 전까지는 어떤 통계에도 들어가지 않습니다.