O teste A/B, também conhecido como teste A/B, é uma das maneiras mais eficazes de apresentar melhorias mensuráveis ​​(e baseadas na ciência) em seu site. Na prática, é assim: são desenvolvidas duas versões de conteúdo – por exemplo, para uma landing page – e duas dessas páginas são lançadas simultaneamente para públicos do mesmo porte para ver qual delas tem melhor desempenho. Este teste, feito corretamente, mostra quais mudanças ajudarão a aumentar as conversões.

Muitas pessoas têm dúvidas sobre como lançar e conduzir testes A/B com sucesso. Aqui estão as perguntas e respostas mais populares para elas.

1. Quando o teste A/B é uma boa/má ideia?

Na maioria das vezes, esses testes falham porque não há objetivos claros por trás deles – então você precisa saber o que está testando. Por exemplo, use um teste como este para testar uma teoria: esta imagem ajudaria a aumentar as conversões se adicionada a uma landing page? As pessoas são mais propensas a pressionar o botão azul ou o botão vermelho? O que acontece se você alterar o título para enfatizar que a oferta é por tempo limitado? O efeito de todas essas mudanças é bastante mensurável.

As pessoas têm muita dificuldade em executar testes A/B quando o objetivo é muito vago, como testar dois designs com muitas diferenças. Isso pode se arrastar por muito tempo até que um vencedor claro seja determinado e, nesse caso, conclusões imprecisas podem ser tiradas e haverá incerteza sobre o que causou o aumento na conversão.

2. Quantas variantes devem existir nos testes A/B?

Digamos que você fez sua lição de casa e tem quatro ideias incríveis de design de landing page. Claro, eu gostaria de lançar todas as quatro opções de uma vez e determinar o vencedor, mas tal lançamento simultâneo não pode mais ser considerado um teste A/B. Vários fatores de cada opção podem turvar as águas claras dos resultados, por assim dizer. A beleza dos testes A/B adequados é que os resultados são confiáveis ​​e específicos.

3. Qual é a hipótese nula?

A hipótese nula é a hipótese de que a diferença nos resultados se deve ao erro amostral ou à variação padrão. Pense em jogar uma moeda. Embora as chances de ela dar cara sejam de 50/50, às vezes, na prática, são de 51/49 ou alguma outra proporção, dependendo do acaso. No entanto, quanto mais você joga a moeda, mais perto você chega de um resultado 50/50.

Nas estatísticas, prova-se que uma ideia está certa ou errada ao desafiar a hipótese nula. No nosso caso, desafiar esta hipótese é realizar testes por um tempo suficientemente longo para excluir resultados aleatórios. Isso também é chamado de alcançar significância estatística.

4. Quantas visitas à página são necessárias para um bom resultado do teste A/B?

Antes de verificar os resultados de um teste A/B, você deve certificar-se de que ele atingiu significância estatística – um certo ponto em que você pode ter 95% ou mais de certeza de que o resultado está correto.

A boa notícia é que muitas ferramentas de teste já possuem um contador de significância estatística integrado para alertá-lo quando os resultados do teste estiverem prontos para interpretação. Se não tiver uma, você pode usar uma das muitas calculadoras e ferramentas gratuitas para calcular a significância estatística.

5. O que é teste multivariado e como ele difere do teste A/B?

Os testes A/B são normalmente usados ​​para identificar uma solução de redesenho eficaz para atingir um objetivo específico (como aumentar as conversões). O teste multivariado normalmente é usado para testar pequenas alterações durante um longo período de tempo. Abrange vários elementos do site e verifica todas as combinações possíveis desses elementos para otimização contínua. O especialista da HubSpot Corey Eridon explica as diferenças no uso de um teste ou outro:

“O teste A/B é um ótimo método se você deseja resultados rápidos e significativos. Como as alterações de página para página são claramente visíveis, será mais fácil saber qual página tem o melhor desempenho. Esta também é a escolha certa se o seu site tiver baixo tráfego.

Mas para resultados corretos em testes multivariados, você precisa de um site com alto tráfego, já que nesses testes são verificados vários elementos de mudança diferentes.

Se você tiver tráfego suficiente para testes multidimensionais (embora ainda possa usar testes A/B para testar novos designs e layouts), é melhor conduzi-los quando quiser fazer alterações sutis na página, para entender como certos elementos interagem com uns aos outros e melhorar gradualmente o design existente.”

6. É verdade que os testes A/B afetam negativamente o SEO?

Existe um mito de que os testes A/B diminuem a classificação de um site nos motores de busca porque podem ser classificados como conteúdo duplicado (ao qual os motores de busca não respondem muito favoravelmente). No entanto, este não é o caso - com a abordagem correta para os testes. Na verdade, Matt Cutts do Google recomenda a realização de testes A/B para melhorar a funcionalidade do seu site. O Otimizador de website também refuta bem esse mito, por exemplo.

Se ainda estiver convencido do contrário, você sempre pode adicionar uma tag noindex a uma das variações da página. Leia instruções detalhadas sobre como adicionar essa tag.

Nota do editor-chefe. O Google publicou recentemente sobre como evitar que testes A/B impactem negativamente a classificação do seu site nos resultados de pesquisa do Google.

7. Como e quando posso interpretar os resultados de um teste A/B?

O teste começa. Os dados começam a se acumular. E você quer descobrir quem é o vencedor. Mas os estágios iniciais não são o momento certo para interpretar os resultados dos testes. Espere até que seu teste atinja significância estatística (veja a etapa 4) e então retorne à sua hipótese original. O teste confirmou ou refutou definitivamente suas suposições? Se sim, você pode tirar algumas conclusões. Ao analisar os testes, não se apresse em atribuir seus resultados a mudanças específicas. Certifique-se de que existe uma ligação clara entre as alterações e o resultado e que não existem fatores de confusão.

8. Quantos elementos variáveis ​​devem ser testados?

Você precisa de um teste com resultados convincentes, gasta seu tempo nele e, portanto, provavelmente deseja obter uma resposta clara no final. O problema de testar várias alterações ao mesmo tempo é que você não conseguirá determinar com precisão qual delas foi mais benéfica. Ou seja, você certamente pode dizer qual página tem melhor desempenho geral, mas se testar três ou quatro elementos diferentes em cada página, não saberá qual elemento está prejudicando a página e não será capaz de introduzir elementos úteis para outras páginas. Nosso conselho: faça uma série de testes básicos, fazendo uma alteração de cada vez, para chegar gradativamente à versão mais eficaz da página pela força bruta.

9. O que devo testar?

• Chamadas para ação. Mesmo olhando para esse elemento, você pode testar várias coisas diferentes. Apenas certifique-se de entender qual aspecto específico da frase de chamariz você deseja testar. Você pode testar o próprio texto da chamada: o que isso leva a pessoa que a visualiza a fazer? Você pode testar o layout: onde é melhor fazer a chamada na página? Você também pode testar a forma e o estilo: como fica?
• Título. Geralmente, essa é a primeira coisa que um visitante lê em seu site, portanto, o potencial de impacto aqui é significativo. Experimente diferentes estilos de título em seus testes A/B. Certifique-se de que a diferença entre cada título esteja clara e que não seja apenas uma repetição estúpida da mesma coisa. Isso é necessário para saber exatamente o que causou as mudanças.
• Imagem. Qual é mais eficaz? É a foto de uma pessoa usando seu produto ou o próprio produto? Experimente diferentes variações de página com diferentes imagens de suporte e veja se há diferença no desempenho.
• Comprimento do texto. Encurtá-lo ajudaria a tornar a mensagem mais clara? Ou necessita, pelo contrário, de mais texto para explicar a essência da proposta? Ao experimentar diferentes versões do corpo do texto, você pode determinar quanto esclarecimento o leitor precisa antes de converter. Para que esse teste funcione, procure utilizar textos com aproximadamente o mesmo conteúdo, alterando apenas o volume.

10. É possível testar algo diferente de páginas da web usando testes A/B?

Certamente! Além de landing pages e páginas da web, muitos profissionais de marketing usam testes A/B para caixas de entrada de e-mail, campanhas PPC (pagamento por clique) e frases de chamariz.

• E-mail. Aqui, os elementos variáveis ​​​​testados podem ser o assunto da carta, as técnicas de personalização e o nome do remetente.
• Campanhas PPC. Durante essas campanhas, você pode aplicar testes A/B ao título, corpo do texto, texto do link e palavras-chave.
• Chamada à ação. Aqui você pode experimentar o texto da chamada, sua forma, design de cores e localização na página.

11. Como posso encontrar exemplos de testes A/B de empresas semelhantes?

Existem vários sites que contêm exemplos e resultados de testes A/B. Alguns permitem pesquisar por tipo de empresa e a maioria fornece informações detalhadas sobre como a empresa interpretou os resultados do teste. Se você está apenas começando com testes A/B, será útil ler alguns desses sites para ter uma ideia do que sua empresa precisa testar.

• WhichTestWon. com. Existem vários exemplos neste site, e também existem alguns concursos anuais onde pode submeter os seus testes.
• Otimizador visual de sites oferece software de teste A/B. O blog da empresa tem alguns exemplos com os quais você pode aprender.
• ABTests. com. Este site não é mais atualizado, mas há um bom arquivo de testes A/B.

12. O que devo fazer se não confiar nos resultados?

Se você realmente não confia nos resultados e descartou quaisquer erros ou problemas com a validade do teste, o melhor a fazer é executar o mesmo teste novamente. Trate-o como um teste completamente separado e veja se você consegue repetir o resultado. Se isso se repetir continuamente, provavelmente será confiável.

13. Com que frequência você deve executar testes A/B?

Sempre há uma oportunidade de testar algo em seu site. Apenas certifique-se de que cada teste tenha um objetivo claro e resulte em um site mais funcional para seus visitantes e sua empresa. Se você executar muitos testes e obtiver impacto mínimo e poucas vitórias, reconsidere sua estratégia de testes.

14. O que você precisa para iniciar o teste A/B em seu site?

A melhor maneira de executar testes A/B é usar software dedicado: por exemplo, Visual Website Optimizer, HubSpot, Unbounce. Se você não se importa em mexer um pouco no código, o Google também tem uma ferramenta gratuita chamada Experimentos de conteúdo no Google Analytics. É um pouco diferente dos testes A/B tradicionais, mas se você for tecnicamente avançado, vale a pena tentar.

15. Quais são algumas armadilhas de validade além do tamanho da amostra?

No ano passado, a MECLABS compilou uma coleção de ameaças para testar a validade. Aqui, o Dr. Flint McGlaughlin analisa erros de teste e como reduzir o risco de encontrá-los em seus testes. Recomendamos a leitura do texto completo, mas ainda apresentaremos alguns erros da lista:

• Algo está acontecendo no mundo exterior que está causando um viés negativo nos resultados dos testes.
• Um bug no software de teste prejudica os resultados.

16. É necessário realizar testes A/B na página principal do site?

A tarefa de desenvolver um teste de página inicial válido pode ser muito difícil. O tráfego nesta página é muito variável, porque todos chegam lá - desde visitantes casuais até clientes em potencial e compradores reais. Além disso, a página inicial normalmente contém uma grande quantidade de conteúdo, por isso pode ser difícil determinar em um único teste o que faz os visitantes agirem ou não.

Finalmente, como há muitos tipos diferentes de visitantes que chegam à sua página inicial, determinar a finalidade específica do teste e da página pode ser um desafio. Você pode ter como meta testar conversões, mas se a versão de teste da página for mais visitada por clientes reais do que por clientes em potencial, suas metas para esse grupo poderão mudar.

Se você quiser testar sua página inicial, comece a testar frases de chamariz.

17. E se eu não tiver uma versão master da página?

Uma versão de controle é uma versão existente de uma página da web na qual você normalmente envia novas variações. Você também pode testar duas versões da página que não existiam antes. E isso é bastante normal. Basta chamar um deles de controle. Tente escolher aquele que tem o design mais semelhante ao da página existente e use o outro como opção.

18. Por que o resultado dos testes A/B nem sempre é 50/50?

Às vezes, ao realizar um teste A/B, você pode perceber que diferentes versões de páginas não têm o mesmo tráfego. Isso não significa que haja algo errado com o teste, apenas que variações aleatórias aparecem por acaso. Pense em jogar uma moeda. As chances de cara e coroa são de 50/50, mas às vezes coroa, por exemplo, aparece 3 vezes seguidas. No entanto, quanto maior o tráfego da sua página, mais próximos os resultados do teste devem estar de 50/50.

“Não tome nada como garantido. Somente decisões baseadas em resultados práticos, ou seja, resultados de testes. Qualquer coisa e tudo deve ser testado. Eu faço isso o tempo todo.” (c)Gary Helbert.

E nisso concordo plenamente com o Rei da Venda de Textos (ou seja, o redator mais famoso do nosso tempo).

O teste A/B é exatamente o que você precisa para tomar a decisão certa, e não apenas com base em seus próprios sentimentos. O que é e como realizá-lo discutiremos neste artigo.

Distâncias distantes

Como padrão, os testes A/B vêm do inglês. Onde também é chamado de teste dividido ou teste dividido. Mas o mais interessante é a tradução.

Teste A/B(ou teste A/B) é um dos métodos de marketing onde um grupo de elementos é comparado com outro grupo de elementos com dados diferentes.

O objetivo da ação é descobrir qual grupo de elementos terá maiores taxas de conversão ou indicadores.

Ou seja, tudo é bem simples. Você cria 2 versões diferentes de produtos publicitários (sejam e-mails vendendo seus serviços) e no final dessas cartas você faz uma diferente.

E basta contar a conversão de qual letra foi maior. Esta é exatamente a essência do teste A/B.

Aqui está um exemplo claro no nível do site, onde determinamos como a alteração da disposição dos blocos afeta o resultado. Ou seja, a gama de modelos elevada ao topo.

Teste A/B

Mas se você estiver testando, por exemplo, 2 landing pages em que os títulos foram alterados, botões de call to action de diferentes formatos e tamanhos, então isso não é mais apenas um teste A/B, mas um teste multivariado ou A/ Teste B/N.

Então, por que se fala tanto sobre esse teste agora? É muito simples. Os profissionais de marketing adoram mostrar seus conhecimentos por meio de vários tipos de truques, que incluem testes.

E os proprietários de empresas sonham em encontrar uma pílula mágica e acreditam que o teste A/B é apenas uma panacéia para seus materiais publicitários (especialmente quando).

O que este teste lhe dirá?

Na verdade, nem tudo é tão ruim e o teste de divisão de sites realmente traz benefícios para as empresas, podendo mudar a situação em um curto espaço de tempo, a saber:

1. . O indicador mais simples e ao mesmo tempo mais desejável de qualquer proprietário, principalmente em sites.
2. Mudança de fatores comportamentais. Não é o mais óbvio, mas novamente um fator que influencia o aumento das vendas.
3. Aumento do cheque médio. Trata-se da adição de vários tipos de call to action ou, a exemplo dos sites, do conhecido bloco “eles compram com este produto”.

Resumindo, tudo se resume ao aumento das vendas. E definitivamente vale a sua atenção.

Mas existe um “MAS”. E talvez nesta fase você entenda que não precisa disso.

Este “MAS” sugere que é muito raro conseguir vendas explosivas substituindo um elemento.

As chances aproximadas são de 1 em 1000. Já que pequenos componentes estão sendo substituídos, que raramente diferem radicalmente entre si.

E quando para você isso é uma gota no oceano, então é melhor focar sua atenção em componentes mais importantes.

Além disso, embora você não tenha tráfego estabelecido, enquanto estiver apenas testando diferentes canais e métodos de publicidade na Internet, você nem precisa começar a testar.

Pois os indicadores não estarão corretos, porque o trânsito não é homogêneo e, como você sabe, pessoas diferentes agem de maneira diferente.

Se você não tem experiência na realização de testes A/B (caso contrário você não estaria aqui), então eu recomendo fortemente que você leia os casos primeiro.

E preste atenção principalmente aos casos de pessoas que conseguiram um aumento na conversão/mudança de comportamento no RuNet. Assim você entenderá o que é melhor testar.

Ou você pode seguir um caminho diferente. Faça uma lista preliminar (plano) do que você irá testar no site.

Isso deve ser feito com base em suas suposições, feedback do grupo focal (pior cenário) ou com base em dados de. Isso evita que você seja jogado de um lado para o outro.

Importante. Esqueça a multivariabilidade e faça apenas um teste de cada vez. Na nossa experiência, a combinação que funciona melhor é 1 teste = 1 alteração.

Caso contrário, você não entenderá o que realmente deu o resultado. E será ainda mais interessante quando uma alteração der +0,5 e outra alteração na mesma página -0,5 para conversão.

O resultado é 0 e um elemento de influência positiva que é esquecido. Então não cometa esse erro.

Importante. Esqueça as teorias vagas. Da série “precisamos mudar alguma coisa no site, tornando-o mais vendido”.

A teoria normal para testes é que em uma página o botão é vermelho, na outra é azul.

Uma página tem um preço, a outra não tem preços. Só então você terá confiança nos resultados. Critérios claros = resultados claros.

Importante. Um resultado obtido em muito pouco tempo = um resultado ruim.

Principalmente se em um curto período de tempo apenas 20 pessoas visitaram seus sites.

Portanto, antes de testar um site, você precisa entender quantas pessoas o visitam diariamente e quantos dias o teste deve durar.

Calculadora de tempo de teste

Para evitar que você fique entediado, encontrei uma calculadora que o ajudará a calcular a duração ideal para testar um site - vwo.com/ab-split-test-duration/

Calculadora

Está em inglês, então, por precaução, traduzi e transcrevi as linhas que você precisará preencher:

1. A taxa de conversão atual da sua página. Como contar, leia aqui -.
2. A porcentagem pela qual você deseja aumentar a conversão existente.
3. Número necessário de combinações. Se você, por exemplo, deseja descobrir qual título do site converte melhor, então esta é uma combinação.

   Se você deseja alterar o título, mas ao mesmo tempo alterar seu texto e tamanho, serão duas combinações.

4. O número de visitantes por dia do seu site (média, é claro).
5. O número de visitantes que participarão dos testes.

Portanto, esta é mais uma pedra no jardim do teste a/b no que diz respeito a não ser relevante para um crescimento explosivo de vendas.

JÁ SOMOS MAIS DE 29.000 pessoas.
LIGAR

Como fazer isso?

Agora vou te dizer como fazer tudo certo. O cabeçalho da carta, o botão de apelo à ação, a disponibilidade de preços em , tudo isto pode ser implementado manualmente ou através de serviços especiais.

E desde já, sem longas declarações de amor, é proibido fazer isso manualmente, pois vai demorar muito.

E se você ainda tiver muito tempo, será melhor e mais útil implementar qualquer canal do artigo.

O teste AB é algo útil que deveria ser simplesmente padrão em projetos de Internet. Como fazer e o que é necessário para isso?

Hoje, testar hipóteses e testar ideias é um programa obrigatório. O teste AB é perfeito para esta tarefa. Vamos dar uma olhada mais de perto no que é, quais são seus benefícios e quais ferramentas existem.

Teste AB: o que é e por quê

O teste AB ou teste dividido é um método de pesquisa de marketing, cuja essência é pegar e comparar várias versões de um elemento de produto com uma alteração específica. E então veja qual das opções teve melhor desempenho.

Por exemplo, tivemos a ideia de mudar a cor de um botão em uma determinada página. Achamos que essa mudança nos trará mais cliques. Executamos as duas opções, mostrando para metade dos nossos usuários a opção A e a outra metade a opção B.

Depois de algum tempo (a duração é determinada antes de iniciar o teste), medimos o resultado. Vamos ver qual opção funcionou melhor e utilizá-la em nosso trabalho. Dessa forma, você pode testar quase todas as hipóteses e ver o que funciona melhor e o que não funciona.

O que pode ser analisado usando o teste AB?

• Conversões. Número de ações direcionadas bem-sucedidas em seu site. Pode ser clicar no botão “Comprar”, visitar uma página ou qualquer outra coisa.
• Economia. Faturamento médio ou volume de receita.
• Fatores comportamentais. Profundidade de visualização, duração da sessão.

Nuances e sutilezas

• É muito importante alterar apenas um fator durante o teste. Se esta for a cor de um botão em uma página de destino, testamos apenas cores de botão diferentes e não alteramos mais nada nas páginas.
• O mesmo vale para fatores externos. O teste é executado ao mesmo tempo nas mesmas condições. Caso contrário, você poderá acabar com dados tendenciosos.

Desculpe interromper a leitura. Junte-se ao meu canal de telegrama. Novos anúncios de artigos, desenvolvimento de produtos digitais e growth hack, está tudo aí. Estou esperando por você! Vamos continuar...

Informações importantes sobre dados

Tudo seria muito simples se não fosse por um “Mas”. Você pode realizar um teste AB e obter resultados que mostram claramente que uma das opções é muito melhor que a outra.

Por exemplo, mostramos 2 versões de páginas com cores de botões diferentes 1000 vezes cada. O teste foi realizado durante uma semana. E obtivemos os seguintes resultados:

Com as mesmas impressões de banner (isso é importante), o número de cliques da opção B é três vezes maior. Concluímos que esta opção é mais eficaz e a colocamos na versão funcional e excluímos a antiga.

E se, por exemplo, for esse o caso?

Vale a pena escolher a opção B? Ou talvez isso seja apenas um erro? E basta mostrar 1000 vezes cada opção para tomar uma decisão? Talvez 10.000 usuários visitem nosso site por dia e a amostra seja muito pequena para tirar uma conclusão? E se os dados que analisamos não forem apenas o número de cliques, mas o recebimento médio das transações?

As estatísticas nos ajudam

Para entender como funciona o mundo dos números e dos experimentos, vamos dar uma pequena olhada na parte matemática. Se você não tiver tempo e energia, aconselho você a pular esta seção. A seguir, darei soluções mais simples para o problema.

É uma grande tentação, quando recebemos os resultados da experiência, tomar uma decisão e pronto, aqui está, um “futuro brilhante”. Mas, se você se aprofundar um pouco mais, ao longo da semana a distribuição dos cliques por dia foi desigual. Vamos anotar.

A tabela mostra que os cliques são distribuídos de forma diferente por dia. Isso significa que nossos valores para a opção A e opção B podem mudar todos os dias. Ou seja, estamos lidando com variáveis ​​aleatórias. Para tais casos, são utilizados valores médios. Mas se conduzirmos a experiência novamente, qual é a probabilidade de o resultado se repetir?

Vamos traçar a distribuição de todos os dados da semana de acordo com as opções A e B.

Se tomarmos os valores médios de cada uma das opções (são listras verticais no meio das duas ondas), veremos que a diferença é muito pequena. Mas há certos desvios, cada vez menos da média. Portanto, obtemos a intersecção de duas ondas. Quanto maior for, menos significativo será o experimento e, consequentemente, quanto menor for a interseção, maior será a significância estatística.

A significância estatística é o quão válidos são os resultados. Essa é, no nosso exemplo, a resposta à pergunta “devo escolher a opção B?”

Normalmente, o nível de significância padrão é 95%. Isso significa que há 95% de chance de querermos saber se devemos escolher a outra opção (B) na comparação. Os 5% restantes são a probabilidade de erro que permitimos, ou valor p na terminologia estatística.

Curiosamente, muitas pessoas esquecem-se de verificar o nível de significância nas suas experiências e, portanto, podem receber dados errados. 8 em cada 10 testes AB erram essa marca. ( )

Não vou entrar em detalhes sobre como o indicador de significância é calculado, apenas darei uma ferramenta que calculará tudo para você.

Ferramentas para calcular significância

Para avaliar a importância dos dados, recomendo usar esta ferramenta.

Aqui temos A e B, respectivamente, nossas opções. E pelos números:

1. Número de visitantes/número de impressões pode ser inserido.
2. Número de conversões. Cliquei no botão e cadastrei. Em geral, a ação alvo foi concluída.
3. Valor P. A probabilidade de erro, que omitimos dados os dados.
4. A resposta à questão é se as mudanças obtidas na nossa experiência são significativas.

Exemplo: pegamos os dados de impressões e cliques da tabela que mostramos acima.

Nós os inserimos no serviço, clicamos no botão “Calcular Significância” e...

Obtemos a resposta “Não” ou “Não” (em russo) na linha inferior, e logo acima do valor p é 0,283. O que isto significa? E o fato é que com uma probabilidade de 28,3% (0,283*100), se escolhermos a opção “B”, então não trará nenhum resultado significativo.

Para que um experimento seja considerado bem-sucedido, o valor p deve ser inferior a 5%

Existe outro serviço no qual você também insere dados e vê o resultado, disponível em link.

Esta é a base para o princípio básico de medição de variáveis ​​aleatórias. No momento em que você obtiver os resultados do teste AB, execute-os na ferramenta e veja se a melhoria da outra opção é significativa o suficiente para usá-la?

Como entender quantos dados você precisa?

Acontece que não há dados suficientes recebidos para tirar conclusões. Para saber quantas vezes você precisa mostrar as páginas A e B e depois obter a quantidade necessária de dados, use isto. ferramenta .

É muito importante, repito, realizar a experiência nas mesmas condições. O ideal é aproveitar uma semana em que não haja feriados ou qualquer outra coisa e testar opções ao mesmo tempo. Voltemos ao serviço.

Graças a este serviço, você entenderá o tamanho da amostra para cada uma das opções.

Mais detalhes sobre os pontos:

1. Taxa de conversão atual. Ou, por exemplo, qual porcentagem de todos os usuários está clicando no botão no momento.
2. A mudança mínima significativa que nos interessa. Quanto gostaríamos de alterar a taxa de conversão básica.
3. O desvio significativo que introduzimos na etapa anterior mostra que a conversão pode aumentar ou diminuir.
4. Você seleciona o valor: absoluto ou relativo. Escolha o valor que deseja obter. Se sua taxa de conversão básica for de 30% (como no exemplo da imagem) e você quiser aumentá-la em 5% usando testes abdominais, selecione “relativo”. Ou seja, o resultado final da mudança caso o experimento seja bem-sucedido será de 5% de 30%, ou seja, 31,5%.
5. Tamanho da amostra para cada opção. Quantas vezes devemos mostrar a página A e a página B separadamente para tirar conclusões do experimento.Muito importante! Para tirar conclusões do experimento, mostramos 24.409 vezes A e 24.409 vezes B!
6. Significância estatística. Quão preciso é o experimento que queremos conduzir?
7. erro de valor p. Qual é a probabilidade de erro permitida?

É possível interromper o experimento mais cedo?

Pode. Existe uma opção quando não precisamos esperar o final do experimento, mas a certa altura já podemos tirar conclusões. Para isso, utilize a ferramenta já conhecida, a “ aba Amostragem Sequencial.

Passo a passo:

1. Insira sua taxa de conversão agora. Por exemplo, 30%, é exatamente quantos dos 100% das pessoas que acessam nossa página clicam no botão.
2. Insira quanto você gostaria de aumentar o indicador inserido anteriormente. Eu configurei para 10%. Era 30, quero aumentar para 33.
3. O número de conversões de um dos experimentos, após o qual interrompemos o experimento e tomamos uma decisão.
4. A diferença nas conversões entre as opções A e B, após a qual paramos o experimento e pegamos aquela que pontuou mais.
5. Definimos o nível de significância em 95% (conforme esperado, veja o material acima).
6. Definimos o erro do valor p (novamente, veja o material acima).

Não há nenhum truque aqui, apenas estatísticas. Utilize esta ferramenta quando os experimentos exigirem muitos recursos (tempo de desenvolvimento, verbas publicitárias para testar hipóteses, etc.). Agora você tem duas regras sob as quais pode interromper o experimento e tirar conclusões.

Como realizar um teste AB?

Soluções prontas:

• Otimize, vwo.com, zarget.com
• http://alternativeto.net/software/optimizely
• Google Analytics (link sobre como fazer)

Solução própria:

• Estamos escrevendo para o administrador.
• Escrevemos e configuramos cada experimento.

Aqui cerca de 10 serviços para teste AB. Há muito por onde escolher.

Todos

Agora você tem uma ideia geral do que é um teste AB, quais são suas nuances e quais ferramentas usar para realizá-lo. Concluindo, gostaria de acrescentar que esta pesquisa de hipóteses é uma das mais úteis no desenvolvimento de um projeto digital. Não é ótimo poder testar quase qualquer ideia? O principal é correto, agora você sabe como.

Revisão de serviços para testes A/B

Experimentamos serviços que ajudam a mudar o site para melhor

O teste A/B é um pequeno experimento realizado nos usuários do site. Sua essência é testar hipóteses.

Se você acha que é mais provável que os usuários do site cliquem na foto de uma modelo de biquíni do que em um empresário de óculos, isso é fácil de confirmar ou negar. Crie duas páginas, coloque o empresário em uma e a modelo na outra. E espere. E o tempo dirá se você está certo ou errado. O público do site agirá para votar na opção que for mais atrativa para ele. E assim, realizando testes A/B e observando o comportamento do usuário, você pode gradualmente ajustar o site aos seus gostos e desejos.

Escrevemos mais sobre testes A/B em. Mas algo estava faltando nela. Nós torcemos, viramos, olhamos para a luz. E percebemos que precisamos de uma revisão das ferramentas de teste! Então vamos começar.

Experimentos do Google Analytics

O Google Anatytics pode fazer muito, mas permanece modestamente silencioso sobre isso. Se você se aprofundar nisso, poderá configurar testes A/B (ou programar telefones Android para se autodestruir, dependendo da sua sorte). Isso é conveniente se você já usa o Analytics, pode fazer um pouco de código ou tem desenvolvedores familiares que criarão uma página para teste.

Prós: Conveniente para usuários acostumados com o Google Anatytics. Existe uma língua russa. E, o mais importante, o serviço é gratuito.

Contras: Nenhum editor visual. Se os elementos que você deseja testar não puderem ser alterados pelo administrador do site e reprogramar a habilidade sozinho não for suficiente, você terá que entrar em contato com os desenvolvedores.

Preço: De graça.

O serviço é simples e claro. Em cada etapa há dicas sobre o que fazer e por quê. No editor visual você pode alterar o texto, as imagens e a estrutura do site. Tudo é simples: você altera o site no editor, adiciona o código à página original e observa os resultados. Para coletar estatísticas, o serviço integra-se ao Yandex.Metrica.

Prós: Existe um editor visual simples. O idioma russo é suportado. .

Contras: Editor visual demais simples No bom sentido, só funciona com texto e imagens. Mas você não pode brincar com a estrutura: o RealROI sugere ocultar ou excluir o elemento. Substitua, mova, mude de forma - nada disso pode ser feito.

E suspeitamos que a função “Enviar código ao desenvolvedor” não esteja funcionando. Tentamos três vezes, mas ainda não recebemos nenhuma carta. Portanto, recomendamos enviar o código você mesmo, usando o bom e velho Ctrl+C - Ctrl+V.

Preço: De graça.

Esta ferramenta já possui mais recursos. O editor visual permite criar qualquer loucura: os elementos podem ser alterados, movidos, adicionados, excluídos. O serviço permite realizar um teste em uma determinada data ou pausar o fluxo de tráfego para uma página (pode ser útil em um experimento onde mais de 2 opções estão envolvidas). Você pode personalizar a segmentação e a personalização.

Prós: Editor visual conveniente - nenhum programador é necessário para criar páginas para teste. O serviço se integra ao Google Analytics, WordPress e outros sistemas analíticos e CRM.

Contras: Parece haver um idioma russo, mas quanto mais você se aprofunda no site, mais complexos se tornam os termos, menos há.

Não há versão de teste. Você pode testar o editor visual, mas só pode aprender sobre outras funções nas descrições.

Preço: US$ 39 por mês se você tiver 5.000 usuários testados. A tarifa mais gorda é de US$ 140 por mês, o que permite testar o site com 40.000 visitantes únicos. 200.000 usuários testados por mês custam US$ 390. Se você pagar o ano de uma vez, ganha desconto em todas as tarifas.

Um serviço que pode organizar A/B para computadores e dispositivos móveis. No editor visual VWO, você pode marcar imediatamente um alvo para cliques. O restante pode ser adicionado na próxima etapa.

O serviço oferece a visualização do mapa de calor, a adição de pop-ups e o envio de uma chamada aos usuários que compraram algo no site para deixarem um comentário.

A VWO também possui uma galeria de ideias. Parece uma coisa pequena, mas é legal. E é útil: o dono do site não precisa inventar algo para testar sozinho. Ele pode escolher entre opções preparadas por profissionais. As ideias podem ser filtradas por setor, complexidade e tempo gasto. Muito legal.

Prós: Muitas funções e dicas e instruções em todos os lugares. Um editor visual claro faz os programadores fumarem nervosamente nos bastidores. Existe uma versão de teste por 30 dias. VWO integra-se com Google Analytics, WordPress e 12 outros serviços.

Contras: Não existe idioma russo. E, portanto, as dicas podem não ajudar, mas enfurecer.

Preço: Se o site tiver menos de 10.000 visitantes mensais, o custo do serviço será de US$ 59 por mês. Até 30.000 visitantes – US$ 155, até 100.000 pessoas no site – US$ 299 e assim por diante. Tradicionalmente, há desconto no pagamento anual.

Oferece testes A/B, multivariados e divididos, personalização. Os alvos de clique podem ser marcados no editor visual.

Existem menos funções do que alguns dos concorrentes na análise, mas o Convert (tenha cuidado, esta é uma opinião muito subjetiva) tem o editor visual mais conveniente em termos de selecionar e arrastar objetos. Em outros serviços, os frames do objeto tremem, como se o usuário os estivesse atacando com um machado em vez de tocá-los cuidadosamente com o mouse.

Capturar um quadro, redimensionar um objeto e movê-lo no editor A/B Tasty não é um teste para os fracos de coração. E no Convert tudo corre bem e de forma agradável. A única coisa é que para editar o texto você terá que colocar as mãos no código CSS.

Prós: Editor visual conveniente, integração com 35 serviços analíticos e CRM, período de teste gratuito - 15 dias. Você pode personalizar testes para dispositivos móveis.

Contras: Não existe idioma russo. O editor visual é bom, mas você terá que se aprofundar nele e descobrir.

Preço: Tarifa Lite (fácil, sim) - US$ 499 por mês para 400.000 visitantes, sem suporte técnico. Você quer que a equipe de serviço o ajude? Pague $ 200 extras. Quanto mais visitantes, maior será o preço. Se você pagar pelo serviço com um ano de antecedência, receberá um desconto.

Um salto acentuado na conversão não afeta as vendas? Ou talvez simplesmente não exista? Se você basear decisões em resultados de testes falsos, na melhor das hipóteses você perderá a chance de otimização e, na pior das hipóteses, reduzirá a conversão.

Felizmente, existe uma maneira de evitar isso. O que é teste A/A e como conduzi-lo – leia o artigo.

Resultado falso positivo

Digamos que você esteja avaliando combinações de botões e títulos. Quando a confiabilidade atingir 99%, tire conclusões e aplique-as na prática.

Depois de vários ciclos de negócios, você vê: o design atualizado não traz o lucro esperado. Mas você realizou testes, investiu tempo e recursos nisso!

Este é um resultado falso positivo, também conhecido como “erro estatístico tipo 1” e “rejeitar falsamente a verdadeira hipótese nula”. Ocorre com mais frequência do que você pensa - em cerca de 80% dos casos.

Por que isso está acontecendo?

Efeito de ferramenta

No início do experimento, é importante garantir que a configuração do instrumento esteja correta e que funcione conforme o esperado. Caso contrário, você corre o risco de obter:

• Indicadores incorretos. Apenas um erro pode distorcer seus dados de teste A/B. No mínimo, integre-se ao Google Analytics para verificação cruzada.
• Exibição incorreta da página de destino. Certifique-se de que as páginas de destino tenham a aparência correta em todos os dispositivos e navegadores e que os visitantes não encontrem efeitos de oscilação.
• causa o mesmo problema. Encerramento prematuro do teste

. Às vezes, o software anuncia o “vencedor” muito cedo – quando o tamanho da amostra ou a representatividade são insuficientes. Lembre-se, só porque você alcançou significância estatística não significa que é hora de interromper os testes. Quanto mais tempo, mais precisos serão os resultados.

Fique de olhos abertos: qualquer um desses sinais leva a uma conclusão falsa. Acompanhe cada meta e métrica. Se algum indicador não for registrado (por exemplo, adicionar um item ao carrinho), interrompa o teste, corrija o problema e comece novamente.

A/A x A/B

Um teste A/B direciona o tráfego para uma versão de controle e uma variação e mostra qual delas funciona melhor.

A/A - a mesma coisa, apenas para duas páginas idênticas. O objetivo é não ver diferenças em seu desempenho. Apenas 20% dos experimentos fornecem resultados confiáveis. A significância estatística e uma amostra grande e representativa não são suficientes. É por isso que os profissionais usam essa técnica para

Como você pode ver, esses tipos se complementam.

Se ao final da experiência as taxas de conversão de ambas as páginas forem iguais, você poderá realizar um teste A/B. Na prática, as coisas nem sempre correm bem.

Exemplo 1. Como uma página pode superar seu clone

Esta é a landing page que a equipe do Copyhackers testou em novembro de 2012:

Após 6 dias, o sistema de teste marcou a opção “vencedora” com um nível de confiança de 95%. Por uma questão de precisão, o experimento foi estendido por um dia - e uma precisão de 99,6% foi alcançada:

A página é 24% mais eficaz do que exatamente a mesma página? O resultado é falso positivo. Depois de mais 3 dias as diferenças desapareceram:

Conclusão: o teste calculou o vencedor muito cedo.

Exemplo 2. Como não fazer nada e aumentar as conversões em 300%

O que vemos:

• 9% - aumento na taxa de abertura de cartas;
• O número de cliques em links aumentou 300%;
• A taxa de cancelamentos da mailing list caiu 51%.

E tudo ficaria bem, mas este é um teste A/A! O conteúdo que compete entre si é absolutamente idêntico.

Vale a pena fazer testes A/A?

O renomado especialista Neil Patel observou grandes saltos na conversão sem aumentar a receita. Ele aconselha testar o software primeiro, para não ter que lidar com as consequências de decisões erradas posteriormente.

Segundo Pip Lay, fundador da agência ConversionXL, os testes em si são uma perda de tempo.

Em quem acreditar? Por um lado, a precisão é fundamental e o método A/A é a forma de garanti-la. Por outro lado, há um desperdício de recursos nos testes, bem como na preparação para os mesmos.

Craig Sullivan, especialista em experiência do usuário, acredita que 40 testes por mês representam uma grande carga de trabalho para os funcionários. É melhor passar meio dia fazendo controle de qualidade do que 2 a 4 semanas apenas testando a ferramenta.

Problema nº 1. Os testes A/A consomem tempo e tráfego que você pode gastar estudando o comportamento dos visitantes do site.

Problema nº 2. Tanto A/B quanto A/A precisam ser cuidadosamente organizados e monitorados para evitar resultados falsos. Como no exemplo de Copyhackers.

Cabe a você decidir se vai perder tempo ou arriscar a confiabilidade do software ao tomar uma decisão.

Existe uma opção potencialmente menos dispendiosa – A/A/B.

A/A/B x A/A

Os testes A/A tradicionais não dizem nada sobre seus visitantes. Mas se você adicionar outra opção ao processo, a questão é diferente.

A/A = 2 páginas idênticas competem.

A/A/B = teste A/A + uma variação adicional.

Você entenderá se vale a pena confiar na ferramenta. Se sim, escolha a melhor versão de acordo com as suas indicações. Caso contrário, eles não devem ser usados.

Sim, leva mais tempo para atingir significância estatística. Mas você também avalia o software e, se isso confirmar sua confiabilidade, o comportamento dos visitantes.

Conclusão

Os benefícios dos testes A/A superam suas desvantagens? Não há uma resposta clara. A realização de testes mensalmente é desnecessária. Chega - ao usar novo software (serviço para realização de testes). Para aqueles que têm pouco tempo, existe uma opção de compromisso - um teste A/A/B.

Se você eliminar os erros hoje, obterá resultados mais precisos no futuro.

Altas conversões para você!