Pular para o conteúdo
Docs
Registro de alteraçõesPreçosAbrir o console

Guias

O que uma avaliação não pode dizer

Todo resultado do Oloproof é uma afirmação medida com limites declarados. Esta página lista os limites que valem para todo tipo de sistema; cada página do guia por sistema acrescenta os seus em "O que isto não pode dizer".

O que nenhum resultado diz

  • Entradas diferentes da suíte. Uma decisão é uma afirmação sobre a população que a suíte amostra, e vale tanto quanto a suíte for uma amostra justa do que o seu sistema vai encontrar. O Oloproof não pode verificar isso; um novo tipo de entrada ou o tráfego do mês que vem fica fora dela (Até onde um resultado alcança).
  • Que uma verificação nunca pode falhar. Uma verificação que passou em todos os 300 casos limita com que frequência ela falha (no máximo cerca de 1,2% com 95% de confiança); não é uma prova.
  • Como o seu sistema responde da próxima vez. Uma execução mede uma resposta por caso, a menos que você peça replicates: (Escrevendo uma suíte).
  • O que significam as pontuações de um juiz não verificado. Um juiz nunca comparado com rótulos de pessoas fica UNVALIDATED, e a sua taxa de aprovação é a opinião do juiz. Uma política com require_validated_evaluators: true se recusa a deixá-lo decidir (Juízes).
  • Que uma regra falhou quando diz "ainda não estabelecido". INSUFFICIENT_EVIDENCE significa que o intervalo ainda cruza o limite, não que o sistema ficou abaixo dele; oloproof plan diz quantos casos a mais o decidiriam.
  • Custo ou latência, a menos que uma regra peça. Uma decisão de release cobre as regras que a sua política declara; um orçamento sobre um quantil de latência ou sobre o custo por tarefa aceita é uma regra max: que você acrescenta (Gates).
  • Se uma resposta reutilizada ainda está atual. Uma saída ou um julgamento em cache é o anterior, reutilizado porque suas entradas têm o mesmo hash; uma mudança que o hash não vê (um modelo que mudou por trás do mesmo nome, um arquivo que o sistema lê mas não importa, uma variável de ambiente) não é vista (Versões, chaves de cache e invalidação).
  • Um segmento escolhido depois de olhar. Os resultados por segmento são afirmações sob a correção declarada para os segmentos que você declarou; um recorte escolhido porque pareceu interessante não traz essa garantia, e segmentos nunca decidem o gate (Segmentos).
  • Por que um caso falhou. Os avaliadores dizem o que aconteceu; uma causa exige uma intervenção ao lado de um controle, e mesmo assim o Oloproof nomeia um fator a testar, não uma causa estabelecida.
  • Casos ordenados no tempo como se fossem independentes. Uma suíte que declara time_order lê MANUAL_REVIEW em vez de um intervalo que supõe casos independentes (Casos agrupados).
  • Uma métrica sem intervalo admitido. Uma regra que precisaria de um retorna MANUAL_REVIEW ou INSUFFICIENT_EVIDENCE com o seu motivo, em vez de emprestar um método não validado.

Por tipo de sistema

Próximos passos