Calculadora de
Teste A/B

Objetivo

O objetivo dessa calculadora é determinar se um experimento é possível. Muitos testes não chegam a uma conclusão, ou pior, são considerados vencedores mesmo quando não atingem significância estatística. Tomar um teste como vencedor sem utilizar ou respeitar nenhum modelo estatístico é tão preciso como jogar no cara-ou-coroa para ver qual versão deve ficar.

Visitas

Aqui vai o número de visitas que a página ou conjunto de páginas que você deseja testar teve nos últimos 30 dias.

Conversões

Aqui vai o número de conversões que ocorreram em visitas que passaram pela página ou páginas que serão testadas. Dica: utilize um segmento avançado para descobrir esse número.

Versões

Quantidade de versões que o teste possui. Se for um teste com uma variação apenas, são 2 versões (controle + variação), e assim por diante.

Taxa de Conversão

Essa é a taxa de conversão atual, ou seja, calculada com base nos dados que você forneceu de visitas e conversões dos últimos 30 dias. Ela é utilizada no calculo da performance necessária.

Performance Necessária

Esse é o produto final da calculadora. Chamamos de performance o aumento relativo da taxa de conversão. Ou seja, se você tinha 1% de taxa de conversão e passa a ter 2%, seu aumento relativo foi de 100%. O resultado obtido nessa métrica indica se o teste é fácil ou não.

Se o teste for muito difícil de apresentar significância estatística em um mês, não vale a pena rodá-lo. Apenas como um parâmetro a considerar, até 30%, consideramos um teste como fácil, até 70% como moderado e acima disso, começa a ficar difícil.