Comece aqui

O que o Oloproof faz, quando usá-lo e quando não usar, e a ordem de leitura destes guias: da primeira avaliação de uma aplicação à comparação de versões, à revisão, ao CI e aos contratos exatos.

O que o Oloproof faz

O Oloproof executa a sua aplicação de IA sobre um conjunto fixo de casos, verifica cada saída com os avaliadores que você escolhe e transforma os resultados em taxas com intervalos. Uma política de lançamento escrita por você então decide cada regra como PASS, FAIL, INSUFFICIENT_EVIDENCE ou MANUAL_REVIEW, e o comando sai conforme essa decisão para que o CI possa usá-la. Tudo roda na sua máquina; nada sai dela a menos que você faça push de uma execução para um espaço de trabalho hospedado. Os termos são definidos em Conceitos básicos.

Use-o quando precisar saber se uma aplicação atinge um padrão declarado em casos nos quais você confia, quão segura é essa resposta e se uma mudança a deixou melhor ou pior. O Oloproof chama o seu sistema; ele não o hospeda, não o isola e não o reinicia, e a sua aplicação cuida do próprio estado, das sessões e dos efeitos colaterais das ferramentas. Para o que está e o que não está construído, por tipo de sistema, leia O que funciona hoje antes de se comprometer.

Estes guias descrevem o Oloproof 0.1.0a5. pip show oloproof imprime a versão que você tem instalada; uma mais antiga pode não ter um comando ou uma opção mostrados aqui, como oloproof init --example, e pip install --upgrade --pre oloproof a atualiza.

O percurso

Uma primeira avaliação não precisa de linha de base: ela pergunta se uma versão da sua aplicação atende aos seus requisitos. Comparar duas versões vem no passo 5, quando você já tem uma execução com a qual valha a pena comparar.

Escolha o seu tipo de sistema

Imagens, áudio e vídeo não têm suporte nativo: um caso pode levar uma URL ou um arquivo codificado através do seu sistema, e um avaliador personalizado pode verificar a saída, mas os juízes veem apenas texto JSON.