A/B testovanie, známe aj ako rozdelené testovanie, je jedným z najefektívnejších spôsobov, ako prísť s merateľnými (a vedecky podloženými) zlepšeniami vašej webovej stránky. V praxi to vyzerá takto: vyvinú sa dve verzie obsahu – napríklad pre vstupnú stránku – a dve takéto stránky sa súčasne spustia publiku rovnakej veľkosti, aby sa zistilo, ktorá z nich funguje lepšie. Tento správne vykonaný test ukazuje, ktoré zmeny pomôžu zvýšiť konverzie.

Mnoho ľudí má otázky o tom, ako spustiť a úspešne vykonávať A/B testovanie. Tu sú najobľúbenejšie otázky a odpovede na ne.

1. Kedy je testovanie A/B dobrý/zlý nápad?

Najčastejšie tieto testy zlyhajú, pretože za nimi nie sú jasné ciele – preto musíte vedieť, čo testujete. Napríklad na testovanie teórie použite takýto test: Pomohol by tento obrázok zvýšiť počet konverzií, keby bol pridaný na vstupnú stránku? Je pravdepodobnejšie, že ľudia stlačia modré alebo červené tlačidlo? Čo sa stane, ak zmeníte nadpis, aby ste zdôraznili, že ponuka je časovo obmedzená? Účinok všetkých týchto zmien je celkom merateľný.

Ľudia majú veľké problémy so spustením A/B testov, keď je cieľ príliš vágny, napríklad testovanie dvoch návrhov s mnohými rozdielmi. To sa môže ťahať dlho, kým sa určí jasný víťaz, a v tomto prípade sa môžu vyvodiť nepresné závery a bude neistota, čo spôsobilo zvýšenie konverzie.

2. Koľko variantov by malo byť v A/B testovaní?

Povedzme, že ste urobili svoju domácu úlohu a máte štyri neuveriteľné nápady na dizajn vstupnej stránky. Samozrejme, že by som chcel spustiť všetky štyri možnosti naraz a určiť víťaza, ale takéto súčasné spustenie už nemožno považovať za A/B testovanie. Množstvo faktorov z každej možnosti môže takpovediac zakaliť čisté vody výsledkov. Krása správneho A/B testovania je v tom, že výsledky sú spoľahlivé a špecifické.

3. Čo je nulová hypotéza?

Nulová hypotéza je hypotéza, že rozdiel vo výsledkoch je spôsobený výberovou chybou alebo štandardnou odchýlkou. Myslite na to, že si hodíte mincou. Hoci šance na jej pristátie na hlavách sú 50/50, niekedy sú v praxi 51/49 alebo nejaký iný pomer v závislosti od náhody. Čím viac však budete hádzať mincou, tým bližšie sa nakoniec dostanete k výsledku 50/50.

V štatistike je myšlienka dokázaná ako správna alebo nesprávna na základe spochybnenia nulovej hypotézy. V našom prípade je spochybnením tejto hypotézy vykonanie testovania dostatočne dlhý čas, aby sa vylúčili náhodné výsledky. Toto sa nazýva aj dosiahnutie štatistickej významnosti.

4. Koľko návštev stránky je potrebných na dobrý výsledok A/B testovania?

Pred kontrolou výsledkov A/B testu by ste sa mali uistiť, že dosiahol štatistickú významnosť – určitý bod, v ktorom si môžete byť na 95 percent alebo viac istý, že výsledok je správny.

Dobrou správou je, že mnohé testovacie nástroje už majú zabudované počítadlo štatistickej významnosti, ktoré vás upozorní, keď sú výsledky testu pripravené na interpretáciu. Ak ho nemáte, môžete použiť jednu z mnohých bezplatných kalkulačiek a nástrojov na výpočet štatistickej významnosti.

5. Čo je viacrozmerné testovanie a ako sa líši od testovania A/B?

A/B testy sa zvyčajne používajú na identifikáciu jedného efektívneho redizajnového riešenia na dosiahnutie konkrétneho cieľa (napríklad zvýšenie konverzií). Multivariačné testovanie sa zvyčajne používa na testovanie malých zmien počas dlhšieho časového obdobia. Pokrýva viacero prvkov webovej stránky a kontroluje všetky možné kombinácie týchto prvkov pre nepretržitú optimalizáciu. Expert HubSpot Corey Eridon vysvetľuje rozdiely v používaní jedného alebo druhého testu:

„A/B testovanie je skvelá metóda, ak chcete rýchle a zmysluplné výsledky. Keďže zmeny zo stránky na stránku sú jasne viditeľné, bude jednoduchšie zistiť, ktorá stránka má najlepšiu výkonnosť. Toto je tiež správna voľba, ak má vaša stránka nízku návštevnosť.

Na správne výsledky pri testovaní s viacerými premennými však potrebujete stránku s vysokou návštevnosťou, pretože pri takomto testovaní sa kontroluje niekoľko rôznych meniacich sa prvkov.

Ak máte dostatočnú návštevnosť na multidimenzionálne testovanie (hoci stále môžete použiť A/B testy na testovanie nových návrhov a rozložení), je najlepšie ho vykonať, keď chcete vykonať jemné zmeny na stránke, aby ste pochopili, ako určité prvky interagujú s navzájom a postupne vylepšovať existujúci dizajn.“

6. Je pravda, že A/B testovanie negatívne ovplyvňuje SEO?

Existuje mýtus, že A/B testy znižujú hodnotenie stránky vo vyhľadávačoch, pretože ju možno klasifikovať ako duplicitný obsah (na ktorý vyhľadávače, ako je známe, nereagujú veľmi priaznivo). To však absolútne neplatí – pri správnom prístupe k testovaniu. Matt Cutts zo spoločnosti Google v skutočnosti odporúča spustiť rozdelené testy na zlepšenie funkčnosti vašej stránky. Dobré vyvrátenie tohto mýtu má napríklad aj Website Optimizer.

Ak ste stále presvedčený o opaku, vždy môžete pridať značku noindex k jednej z variácií stránky. Prečítajte si podrobné pokyny, ako pridať takúto značku.

Poznámka šéfredaktora. Spoločnosť Google nedávno zverejnila informácie o tom, ako zabrániť A/B testom, aby negatívne ovplyvnili hodnotenie vašej stránky vo výsledkoch vyhľadávania Google.

7. Ako a kedy môžem interpretovať výsledky deleného testu?

Skúška sa spustí. Dáta sa začnú hromadiť. A chcete vedieť, kto je víťaz. Počiatočné štádiá však nie sú tým správnym časom na interpretáciu výsledkov testov. Počkajte, kým váš test nedosiahne štatistickú významnosť (pozri krok 4) a potom sa vráťte k svojej pôvodnej hypotéze. Potvrdil test definitívne alebo vyvrátil vaše predpoklady? Ak áno, môžete vyvodiť nejaké závery. Pri analýze testovania sa neponáhľajte pripisovať jeho výsledky konkrétnym zmenám. Uistite sa, že existuje jasná súvislosť medzi zmenami a výsledkom a že neexistujú žiadne mätúce faktory.

8. Koľko meniacich sa prvkov by sa malo otestovať?

Potrebujete test s presvedčivými výsledkami, venujete mu svoj čas, a preto pravdepodobne chcete nakoniec dostať jasnú odpoveď. Problém s testovaním viacerých zmien súčasne je, že nebudete môcť presne určiť, ktorá z nich bola najvýhodnejšia. To znamená, že určite viete povedať, ktorá stránka má celkovo lepšiu výkonnosť, ale ak na každej stránke otestujete tri alebo štyri rôzne prvky, nebudete vedieť, ktorý prvok stránke škodí, a nebudete môcť predstaviť užitočné prvky iné stránky. Naša rada: vykonajte sériu základných testov, pričom zakaždým urobte jednu zmenu, aby ste sa hrubou silou postupne dostali k najefektívnejšej verzii stránky.

9. Čo mám testovať?

• Výzvy na akciu. Dokonca aj pohľadom na tento jeden prvok môžete otestovať niekoľko rôznych vecí. Len sa uistite, že rozumiete, aký konkrétny aspekt výzvy na akciu chcete otestovať. Môžete otestovať samotný text hovoru: k čomu núti osobu, ktorá si ho prezerá? Môžete otestovať rozloženie: kde na stránke je najlepšie uskutočniť hovor? Môžete tiež otestovať tvar a štýl: ako to vyzerá?
• Názov. Toto je zvyčajne prvá vec, ktorú si návštevník na vašom webe prečíta, takže potenciál vplyvu je tu značný. Vyskúšajte rôzne štýly nadpisov vo svojom A/B testovaní. Uistite sa, že rozdiel medzi jednotlivými titulmi je jasný a že to nie je len bezduché omieľanie toho istého. Je to potrebné, aby sme presne vedeli, čo spôsobilo zmeny.
• Obrázok.Čo je efektívnejšie? Je to obrázok osoby, ktorá používa váš produkt, alebo samotný produkt? Vyskúšajte rôzne variácie stránok s rôznymi podpornými obrázkami a zistite, či existuje rozdiel vo výkonnosti.
• Dĺžka textu. Pomohlo by jej skrátenie, aby bola správa jasnejšia? Alebo naopak potrebujete viac textu na vysvetlenie podstaty návrhu? Vyskúšaním rôznych verzií kópie tela môžete určiť, koľko objasnenia potrebuje čitateľ pred konverziou. Aby tento test fungoval, skúste použiť texty s približne rovnakým obsahom, pričom zmeňte iba ich objem.

10. Je možné pomocou A/B testovania testovať aj niečo iné ako webové stránky?

Určite! Okrem vstupných stránok a webových stránok mnoho marketérov používa A/B testy pre e-mailové schránky, PPC (pay per click) kampane a výzvy na akciu.

• E-mail. Tu môžu byť testované meniace sa prvky predmetom listu, personalizačných techník a mena odosielateľa.
• PPC kampane. Počas týchto kampaní môžete použiť A/B testovanie na nadpis, hlavný text, text odkazu a kľúčové slová.
• Výzva na akciu. Tu môžete experimentovať s textom výzvy, jej tvarom, farebným prevedením a umiestnením na stránke.

11. Ako nájdem príklady A/B testovania od podobných spoločností?

Existuje množstvo stránok, ktoré obsahujú príklady a výsledky A/B testovania. Niektoré umožňujú vyhľadávanie podľa typu spoločnosti a väčšina poskytuje podrobné informácie o tom, ako spoločnosť interpretovala výsledky testov. Ak s A/B testovaním ešte len začínate, bude pre vás užitočné prečítať si niektoré z týchto stránok, aby ste získali predstavu o tom, čo vaša spoločnosť potrebuje otestovať.

• WhatTestWon.com. Na tejto stránke je niekoľko príkladov a každoročne sa koná aj niekoľko súťaží, kde môžete svoje testy odoslať.
• Visual Website Optimizer ponúka softvér na testovanie A/B. Blog spoločnosti obsahuje niekoľko príkladov, z ktorých by ste sa mohli poučiť.
• ABTests.com. Táto stránka už nie je aktualizovaná, ale existuje dobrý archív A/B testov.

12. Čo mám robiť, ak neverím výsledkom?

Ak výsledkom naozaj neveríte a vylúčili ste akékoľvek chyby alebo problémy s platnosťou testu, najlepšie urobíte, ak znova spustíte rovnaký test. Berte to ako úplne samostatný test a zistite, či môžete výsledok zopakovať. Ak sa to opakuje znova a znova, asi sa tomu dá veriť.

13. Ako často by ste mali spúšťať A/B testovanie?

Vždy je možnosť otestovať niečo na vašej stránke. Len sa uistite, že každý test má jasný cieľ a výsledkom je funkčnejšia stránka pre vašich návštevníkov a spoločnosť. Ak spustíte veľa testov a skončíte s minimálnym dopadom a málo výhrami, prehodnoťte svoju stratégiu testovania.

14. Čo potrebujete na spustenie A/B testovania na vašom webe?

Najlepší spôsob, ako spustiť testovanie A/B, je použiť špecializovaný softvér: napríklad Visual Website Optimizer, HubSpot, Unbounce. Ak vám nevadí trochu si pohrať s kódom, Google má v službe Google Analytics aj bezplatný nástroj s názvom Experimenty s obsahom. Je to trochu iné ako tradičné A/B testovanie, no ak ste technicky vyspelí, stojí za to to vyskúšať.

15. Aké sú niektoré úskalia platnosti okrem veľkosti vzorky?

Minulý rok MECLABS zostavil zbierku hrozieb na testovanie platnosti. Dr. Flint McGlaughlin sa tu zaoberá chybami pri testovaní a tým, ako znížiť riziko, že sa s nimi stretnete vo svojich testoch. Odporúčame prečítať si celý text, ale aj tak uvedieme niekoľko chýb zo zoznamu:

• Vo vonkajšom svete sa deje niečo, čo spôsobuje negatívne skreslenie výsledkov testov.
• Chyba v testovacom softvéri podkopáva výsledky.

16. Je potrebné vykonať A/B testovanie hlavnej stránky webu?

Úloha vytvoriť platný test domovskej stránky môže byť veľmi náročná. Návštevnosť na tejto stránke je veľmi premenlivá, pretože tam prichádzajú všetci – od náhodných návštevníkov až po potenciálnych klientov a skutočných kupujúcich. Okrem toho domovská stránka zvyčajne obsahuje obrovské množstvo obsahu, takže môže byť ťažké určiť v jedinom teste, čo návštevníkov prinúti konať alebo nekonať.

Nakoniec, pretože na vašu domovskú stránku prichádza veľa rôznych typov návštevníkov, môže byť náročné určiť konkrétny účel testu a stránky. Môžete mať za cieľ testovať konverzie, ale ak testovaciu verziu stránky navštevujú viac skutoční zákazníci ako potenciálni zákazníci, vaše ciele pre túto skupinu sa môžu zmeniť.

Ak chcete otestovať svoju domovskú stránku, začnite testovať výzvy na akciu.

17. Čo ak nemám hlavnú verziu stránky?

Kontrolná verzia je existujúca verzia webovej stránky, proti ktorej zvyčajne tlačíte nové variácie. Možno budete chcieť otestovať aj dve verzie stránky, ktoré predtým neexistovali. A to je celkom normálne. Stačí zavolať jednému z nich kontrolu. Skúste si vybrať tú, ktorá je dizajnovo najpodobnejšia existujúcej stránke, a druhú použite ako možnosť.

18. Prečo nie je výsledok A/B testovania vždy 50/50?

Niekedy si pri vykonávaní A/B testu môžete všimnúť, že rôzne verzie stránok nemajú rovnakú návštevnosť. To neznamená, že s testom nie je niečo v poriadku, len sa náhodne objavia náhodné variácie. Premýšľajte o hodení mincou. Šance na hlavy a chvosty sú 50/50, no niekedy sa napríklad chvosty objavia 3x za sebou. Čím je však návštevnosť vašej stránky vyššia, tým by sa výsledky testu mali približovať k 50/50.

„Neber nič ako samozrejmosť. Iba rozhodnutia založené na praktických výsledkoch, teda na výsledkoch testovania. Všetko a všetko by sa malo testovať. Robím to stále." c) Gary Helbert.

A v tomto úplne súhlasím s kráľom predajných textov (inými slovami, najznámejším copywriterom súčasnosti).

A/B testovanie je presne to, čo je potrebné pre správne rozhodnutie, a to nielen na základe vlastných pocitov. Čo to je a ako to urobiť, budeme diskutovať v tomto článku.

Vzdialené vzdialenosti

Štandardne A/B testovanie pochádza z angličtiny. Kde sa nazýva aj split-testing alebo split testing. Najzaujímavejší je však preklad.

A/B test(alebo split test) je jednou z marketingových metód, kde sa porovnáva jedna skupina prvkov s inou skupinou prvkov s rôznymi údajmi.

Účelom akcie je zistiť, ktorá skupina prvkov bude mať vyššie konverzné pomery alebo ukazovatele.

To znamená, že všetko je celkom jednoduché. Vytvoríte 2 rôzne verzie reklamných produktov (nech sú to e-maily predávajúce vaše služby) a na konci týchto písmen vytvoríte inú.

A stačí spočítať prepočet, ktoré písmeno bolo vyššie. Presne toto je podstata A/B testu.

Tu je jasný príklad na úrovni lokality, kde určujeme, ako zmenené usporiadanie blokov ovplyvní výsledok. Totiž modelový rad povýšený na vrchol.

A/B test

Ale ak testujete napríklad 2 vstupné stránky, v ktorých boli zmenené nadpisy, tlačidlá s výzvou na akciu rôznych tvarov a veľkostí, tak toto už nie je len test A/B, ale testovanie s viacerými premennými alebo A/ B/N-test.

Prečo sa teda teraz toľko hovorí o tomto teste? Je to veľmi jednoduché. Obchodníci radi ukazujú svoju odbornosť prostredníctvom rôznych druhov trikov, medzi ktoré patrí aj testovanie.

A majitelia spoločností snívajú o nájdení čarovnej pilulky a veria, že delené testovanie je len všeliek na ich reklamné materiály (najmä kedy).

Čo vám tento test prezradí?

V skutočnosti nie je všetko také zlé a testovanie rozdelenia stránok skutočne poskytuje spoločnostiam výhody a môže zmeniť situáciu v krátkom čase, a to:

1. . Najjednoduchší a zároveň najžiadanejší ukazovateľ každého vlastníka, najmä na webových stránkach.
2. Zmena faktorov správania. Nie najzreteľnejší, ale opäť faktor, ktorý ovplyvňuje nárast predaja.
3. Zvýšenie priemernej kontroly. Ide o pridanie rôznych druhov výziev na akciu alebo na príklade stránok známy blok „kupujú s týmto produktom“.

Aby sme to zhrnuli, všetko súvisí so zvýšením predaja. A rozhodne stojí za vašu pozornosť.

Je tu však jedno „ALE“. A možno v tejto fáze pochopíte, že to nepotrebujete.

Toto „ALE“ naznačuje, že je veľmi zriedkavé dosiahnuť explozívny predaj nahradením jedného prvku.

Približná šanca je 1 ku 1000. Keďže sa vymieňajú malé komponenty, ktoré sa od seba len zriedka radikálne líšia.

A keď je to pre vás kvapka v mori, potom je lepšie zamerať svoju pozornosť na dôležitejšie komponenty.

Navyše, zatiaľ čo nemáte vytvorenú návštevnosť, zatiaľ čo len testujete rôzne kanály a spôsoby reklamy na internete, nemusíte ani začať testovať.

Pretože ukazovatele nebudú správne, pretože návštevnosť nie je homogénna a, ako viete, rôzni ľudia konajú odlišne.

Ak nemáte skúsenosti s vykonávaním A/B testov (inak by ste tu neboli), vrelo odporúčam, aby ste si najskôr prečítali prípady.

A hlavne si všímať prípady ľudí, ktorí na RuNet dosiahli zvýšenie konverzie/zmeny správania. Takto pochopíte, čo je lepšie testovať.

Alebo môžete ísť inou cestou. Urobte si predbežný zoznam (plán) toho, čo budete na stránke testovať.

Malo by to byť vykonané na základe vašich predpokladov, spätnej väzby cieľovej skupiny (najhorší scenár) alebo na základe údajov z. Je to preto, aby vás nehádzali zo strany na stranu.

Dôležité. Zabudnite na multivariabilitu a urobte len jeden test naraz. Podľa našich skúseností najlepšie funguje kombinácia 1 test = 1 zmena.

Inak nepochopíte, čo vlastne dalo výsledok. A bude to ešte zaujímavejšie, keď jedna zmena dá +0,5 a ďalšia zmena na tej istej stránke -0,5 ku konverzii.

Výsledkom je 0 a pozitívny ovplyvňujúci prvok, ktorý sa prehliada. Tak túto chybu nerobte.

Dôležité. Zabudnite na vágne teórie. Zo série „Musíme na stránke niečo zmeniť, aby sa stala predajnejšou.“

Normálna teória na testovanie je, že na jednej stránke je tlačidlo červené, na druhej modré.

Jedna stránka má cenu, druhá nemá ceny. Len tak budete mať istotu vo výsledkoch. Jasné kritériá = jasné výsledky.

Dôležité. Výsledok dosiahnutý vo veľmi krátkom čase = zlý výsledok.

Najmä ak za krátky čas navštívilo vaše stránky iba 20 ľudí.

Preto predtým, ako sa vrhnete na testovanie stránky, musíte pochopiť, koľko ľudí ju denne navštívi a koľko dní by testovanie malo trvať.

Kalkulačka skúšobného času

Aby ste sa nenudili, našiel som kalkulačku, ktorá vám pomôže vypočítať optimálne trvanie testovania stránky – vwo.com/ab-split-test-duration/

Kalkulačka

Je v angličtine, takže pre každý prípad som preložil a prepísal riadky, ktoré budete musieť vyplniť:

1. Aktuálny konverzný pomer vašej stránky. Ako počítať, prečítajte si tu -.
2. Percento, o ktoré chcete zvýšiť existujúcu konverziu.
3. Požadovaný počet kombinácií. Ak chcete napríklad zistiť, ktorý titulok na stránke má lepšiu konverziu, potom je to jedna kombinácia.

   Ak chcete zmeniť nadpis, no zároveň zmeniť jeho text a veľkosť, tak to budú dve kombinácie.

4. Počet návštevníkov vášho webu za deň (samozrejme priemerný).
5. Počet návštevníkov, ktorí sa zúčastnia testov.

Preto je to ďalší kameň v záhrade a/b testu, pokiaľ ide o to, že nie je relevantný pre prudký rast predaja.

JE NÁS UŽ VIAC AKO 29 000 ľudí.
ZAPNÚŤ

Ako na to?

Teraz vám poviem, ako urobiť všetko správne. Hlavička listu, tlačidlo výzvy na akciu, dostupnosť cien v , to všetko je možné realizovať buď manuálne, alebo pomocou špeciálnych služieb.

A hneď, bez dlhých vyznaní lásky, je zakázané robiť to ručne, pretože to zaberie veľa času.

A ak máte ešte veľa času, bude pre vás lepšie a užitočnejšie implementovať akýkoľvek kanál z článku.

AB test je užitočná vec, ktorá by jednoducho mala byť v internetových projektoch štandardne. Ako na to a čo je na to potrebné?

Dnes je testovanie hypotéz a testovanie nápadov povinným programom. AB test je na túto úlohu ako stvorený. Pozrime sa bližšie na to, čo to je, aké sú jeho výhody a aké nástroje existujú.

AB test: čo to je a prečo

AB test alebo Split test je metóda marketingového výskumu, ktorej podstatou je, že vezmete a porovnáte viacero verzií elementu produktu s jednou konkrétnou zmenou. A potom uvidíte, ktorá z možností fungovala lepšie.

Napríklad sme mali nápad zmeniť farbu tlačidla na určitej stránke. Myslíme si, že táto zmena nám prinesie viac kliknutí. Spustíme obe možnosti, pričom polovici našich používateľov ukážeme možnosť A a druhej polovici možnosť B.

Po uplynutí určitého času (trvanie je určené pred začatím testu) zmeriame výsledok. Pozrime sa, ktorá možnosť fungovala lepšie a využijeme ju v našej práci. Týmto spôsobom môžete otestovať takmer akúkoľvek hypotézu a zistiť, čo funguje najlepšie a čo nie.

Čo možno analyzovať pomocou AB testu?

• Konverzie. Počet úspešných cielených akcií na vašom webe. Môže to byť kliknutie na tlačidlo „Kúpiť“, návšteva stránky alebo niečo iné.
• ekonomika. Priemerný účet alebo objem výnosov.
• Faktory správania. Hĺbka zobrazenia, trvanie relácie.

Nuansy a jemnosti

• Pri testovaní je veľmi dôležité zmeniť len jeden faktor. Ak je to farba tlačidla na vstupnej stránke, testujeme iba rôzne farby tlačidiel a nič iné na stránkach nemeníme.
• To isté platí pre vonkajšie faktory. Test prebieha v rovnakom čase za rovnakých podmienok. V opačnom prípade môžete skončiť s údajmi, ktoré sú skreslené.

Prepáčte za prerušenie čítania. Pripojte sa k môjmu telegramovému kanálu. Čerstvé oznámenia článkov, vývoj digitálnych produktov a hack pre rast, to všetko je tam. Čakám na teba! Pokračujme...

Dôležité informácie o údajoch

Všetko by bolo veľmi jednoduché, keby nebolo jedného „Ale“. Môžete vykonať test AB a získať výsledky, ktoré jasne ukazujú, že jedna z možností je oveľa lepšia ako druhá.

Napríklad sme 1000-krát zobrazili 2 verzie stránok s rôznymi farbami tlačidiel. Test prebiehal jeden týždeň. A dostali sme nasledujúce výsledky:

Pri rovnakých zobrazeniach bannera (to je dôležité) je počet kliknutí pre možnosť B trikrát vyšší. Dospeli sme k záveru, že táto možnosť je efektívnejšia a vezmeme ju do pracovnej verzie a vymažeme starú.

Čo ak je to napríklad tento prípad?

Oplatí sa využiť možnosť B? Alebo je to možno len chyba? A stačí na rozhodnutie ukázať každú možnosť 1000-krát? Možno našu stránku navštívi 10 000 používateľov denne a vzorka je príliš malá na to, aby sa dal vyvodiť záver? Čo ak údaje, ktoré analyzujeme, nie sú len počtom kliknutí, ale aj priemerným príjmom z transakcií?

Pomáhajú nám štatistiky

Aby sme pochopili, ako funguje svet čísel a experimentov, pozrime sa trochu na matematickú časť. Ak nemáte čas a energiu, odporúčam vám túto časť preskočiť. Ďalej uvediem jednoduchšie riešenia problému.

Je to veľké pokušenie, keď sme dostali výsledky experimentu, urobiť rozhodnutie a to je všetko, tu to je, „svetlá budúcnosť“. Ak sa však pozriete trochu hlbšie, v priebehu týždňa bolo rozdelenie kliknutí podľa dňa nerovnomerné. Poďme si to zapísať.

Tabuľka ukazuje, že kliknutia sú rozdelené podľa dňa inak. To znamená, že naše hodnoty pre možnosť A a možnosť B sa môžu meniť každý deň. To znamená, že máme do činenia s náhodnými premennými. V takýchto prípadoch sa používajú priemerné hodnoty. Ak však experiment vykonáme znova, aká je pravdepodobnosť, že sa výsledok zopakuje?

Nakreslíme si rozdelenie všetkých údajov za týždeň podľa možností A a B.

Ak vezmeme priemerné hodnoty pre každú z možností (sú to zvislé pruhy v strede dvoch vĺn), uvidíme, že rozdiel je veľmi malý. Existujú však určité odchýlky, viac a menej od priemeru. Preto dostaneme priesečník dvoch vĺn. Čím je väčšia, tým je experiment menej významný, a teda čím je priesečník menší, tým vyššia je štatistická významnosť.

Štatistická významnosť určuje, do akej miery sú výsledky platné. To je v našom príklade odpoveď na otázku „mám zvoliť možnosť B?“

Štandardná hladina významnosti je zvyčajne 95 %. To znamená, že existuje 95% šanca, že chceme vedieť, či by sme si pri porovnávaní mali vybrať druhú možnosť (B). Zvyšných 5% je pravdepodobnosť chyby, ktorú pripúšťame, alebo v štatistickej terminológii p-hodnota.

Je zaujímavé, že veľa ľudí zabúda pri svojich experimentoch kontrolovať hladinu významnosti, a preto môžu dostať chybné údaje. 8 z 10 testov AB túto známku míňa. ( )

Nebudem zachádzať do podrobností o tom, ako sa počíta ukazovateľ významnosti, len vám poskytnem nástroj, ktorý všetko vypočíta za vás.

Nástroje na výpočet významnosti

Na posúdenie významnosti údajov odporúčam použiť tento nástroj.

Tu máme A a B naše možnosti. A podľa čísel:

1. Je možné vložiť počet návštevníkov/počet zobrazení.
2. Počet konverzií. Kliknul na tlačidlo a zaregistroval sa. Vo všeobecnosti bola cieľová akcia dokončená.
3. P-hodnota. Pravdepodobnosť chyby, ktorú vzhľadom na údaje vynecháme.
4. Odpoveďou na otázku je, či sú zmeny získané v našom experimente významné.

Príklad: údaje o zobrazeniach a kliknutiach berieme z tabuľky, ktorú sme ukázali vyššie.

Zadáme ich do služby, klikneme na tlačidlo „Vypočítať význam“ a...

Dostaneme odpoveď „Nie“ alebo „Nie“ (v ruštine) v spodnom riadku a tesne nad hodnotou p je 0,283. čo to znamená? A faktom je, že s pravdepodobnosťou 28,3% (0,283*100), ak zvolíme možnosť „B“, neprinesie to žiadne významné výsledky.

Aby bol experiment považovaný za úspešný, musí byť p-hodnota menšia ako 5 %

Existuje ďalšia služba, do ktorej tiež zadávate údaje a vidíte výsledok, dostupná na odkaz.

Toto je základ pre základný princíp merania náhodných veličín. V momente, keď získate výsledky AB testu, spustite ich cez nástroj a zistite, či je zlepšenie z druhej možnosti dostatočne výrazné na to, aby ste ho použili?

Ako pochopiť, koľko údajov potrebujete?

Stáva sa, že nie je k dispozícii dostatok údajov na vyvodenie záverov, aby ste pochopili, koľkokrát musíte zobraziť stránku A a B a potom získať požadované množstvo údajov nástroj .

Je veľmi dôležité, opakujem, spustiť experiment za rovnakých podmienok. Ideálne je, ak si vezmeme týždeň, v ktorom nie sú prázdniny ani nič iné a zároveň možnosti testovania. Vráťme sa k službe.

Vďaka tejto službe pochopíte veľkosť vzorky pre každú z možností.

Viac podrobností o bodoch:

1. Aktuálny konverzný pomer. Alebo napríklad, aké percento všetkých používateľov práve kliká na tlačidlo.
2. Minimálna významná zmena, ktorá nás zaujíma. Ako veľmi by sme chceli zmeniť základný konverzný pomer.
3. Významná odchýlka, ktorú sme zaviedli v predchádzajúcom kroku, ukazuje, že konverzia sa môže zvýšiť alebo znížiť.
4. Vyberiete hodnotu: absolútnu alebo relatívnu. Vyberte hodnotu, ktorú chcete získať. Ak je vaša základná miera konverzie 30 % (ako v príklade na obrázku) a chcete ju zvýšiť o 5 % pomocou ab testov, vyberte „relatívne“. To znamená, že konečný výsledok zmeny, ak bude experiment úspešný, bude 5 % z 30 %, teda 31,5 %.
5. Veľkosť vzorky pre každú možnosť. Koľkokrát by sme mali zobraziť stránku A a stránku B oddelene, aby sme z experimentu vyvodili závery.Veľmi dôležité! Na vyvodenie záverov z experimentu uvádzame 24 409 krát A a 24 409 krát B!
6. Štatistická významnosť. Aký presný experiment chceme vykonať?
7. chyba p-hodnoty. Aká je povolená pravdepodobnosť chyby?

Je možné zastaviť experiment skôr?

Can. Existuje možnosť, keď nemusíme čakať na koniec experimentu, ale v určitej fáze už môžeme vyvodiť závery. Ak to chcete urobiť, použite už známy nástroj, kartu „ Sekvenčné vzorkovanie.

Krok za krokom:

1. Teraz zadajte svoj konverzný pomer. Napríklad 30 %, presne toľko zo 100 % ľudí, ktorí prídu na našu stránku, klikne na tlačidlo.
2. Zadajte, o koľko chcete zvýšiť predtým zadaný indikátor. Nastavil som to na 10%. Bolo to 30, chcem to zvýšiť na 33.
3. Počet konverzií jedného z experimentov, po ktorých experiment zastavíme a urobíme rozhodnutie.
4. Rozdiel v konverziách medzi možnosťou A a B, po ktorých experiment zastavíme a vezmeme ten, ktorý skóroval viac.
5. Hladinu významnosti sme nastavili na 95 % (podľa očakávania, pozri materiál vyššie).
6. Nastavíme chybu p-hodnoty (opäť pozri materiál vyššie).

Nie je tu žiadny trik, len štatistika. Tento nástroj použite, keď experimenty vyžadujú veľa zdrojov (čas na vývoj, reklamné rozpočty na testovanie hypotéz atď.). Teraz máte dve pravidlá, podľa ktorých môžete experiment zastaviť a vyvodiť závery.

Ako vykonať AB test?

Pripravené riešenia:

• Optimizely, vwo.com, zarget.com
• http://alternativeto.net/software/optimizely
• Google Analytics (odkaz, ako na to)

Vlastné riešenie:

• Píšeme adminovi.
• Každý experiment napíšeme a nastavíme.

Tu asi 10 služieb pre AB test. Je z čoho vyberať.

Všetky

Teraz máte všeobecnú predstavu o tom, čo je test AB, aké sú nuansy a aké nástroje použiť na jeho vykonanie. Na záver by som rád dodal, že tento výskum hypotéz je jedným z najužitočnejších pri vývoji digitálneho projektu. Nie je skvelé, že môžete otestovať takmer akýkoľvek nápad? Hlavná vec je správna, teraz viete ako.

Prehľad služieb pre A/B testovanie

Skúšame služby, ktoré pomáhajú meniť stránku k lepšiemu

A/B testovanie je malý experiment, ktorý sa vykonáva na používateľoch stránok. Jeho podstatou je testovanie hypotéz.

Ak si myslíte, že používatelia stránky kliknú skôr na fotku modelky v bikinách ako na podnikateľa v okuliaroch, dá sa to ľahko potvrdiť alebo vyvrátiť. Vytvorte dve strany, na jednu umiestnite obchodníka a na druhú modelku. A čakať. A čas ukáže, či máte pravdu alebo nie. Publikum stránky podnikne kroky, aby hlasovalo za možnosť, ktorá je pre nich atraktívnejšia. A tak pomocou A/B testovania a pozorovania správania používateľov môžete stránku postupne prispôsobiť ich vkusu a želaniam.

Viac o A/B testovaní sme písali v. Niečo jej však chýbalo. Krútili sme to, otáčali, pozerali na svetlo. A uvedomili sme si - potrebujeme revíziu testovacích nástrojov! Tak poďme na to.

Experimenty Google Analytics

Google Anatytics dokáže veľa, len o tom skromne mlčí. Ak sa do toho ponoríte hlbšie, môžete si nastaviť A/B testovanie (alebo naprogramovať telefóny s Androidom na samodeštrukciu, v závislosti od šťastia). Je to výhodné, ak už používate službu Analytics, môžete urobiť malý kód alebo máte známych vývojárov, ktorí vytvoria stránku na testovanie.

Výhody: Pohodlné pre používateľov zvyknutých na Google Anatytics. Existuje ruský jazyk. A čo je najdôležitejšie, služba je bezplatná.

nevýhody:Žiadny vizuálny editor. Ak prvky, ktoré chcete otestovať, nie je možné zmeniť prostredníctvom správcu stránky a nestačí vám preprogramovanie zručnosti sami, budete musieť kontaktovať vývojárov.

cena: Zadarmo.

Služba je jednoduchá a prehľadná. V každej fáze sú tipy, čo robiť a prečo. Vo vizuálnom editore môžete meniť text, obrázky a štruktúru stránky. Všetko je jednoduché: zmeníte stránku v editore, pridáte kód na pôvodnú stránku a sledujete výsledky. Na zhromažďovanie štatistík sa služba integruje s Yandex.Metrica.

Výhody: K dispozícii je jednoduchý vizuálny editor. Ruský jazyk je podporovaný. .

nevýhody: Vizuálny editor príliš veľa jednoduché V dobrom slova zmysle funguje len s textom a obrázkami. So štruktúrou sa však nemôžete hrať: RealROI navrhuje buď skryť alebo odstrániť prvok. Vymeniť, presunúť, zmeniť tvar – nič z toho sa nedá urobiť.

A máme podozrenie, že funkcia „Odoslať kód vývojárovi“ nefunguje. Skúšali sme to trikrát, ale stále bez písmena. Preto odporúčame odoslať kód sami pomocou starého dobrého Ctrl+C - Ctrl+V.

cena: Zadarmo.

Tento nástroj už má viac funkcií. Vizuálny editor vám umožňuje vytvárať akékoľvek šialenstvo: prvky je možné meniť, presúvať, pridávať, mazať. Služba vám umožňuje spustiť test v daný dátum alebo pozastaviť tok návštevnosti stránky (môže byť užitočné v experimente, kde sú zahrnuté viac ako 2 možnosti). Môžete prispôsobiť zacielenie a prispôsobenie.

Výhody: Pohodlný vizuálny editor – na vytváranie stránok na testovanie nie sú potrební žiadni programátori. Služba sa integruje s Google Analytics, WordPress a ďalšími analytickými a CRM systémami.

nevýhody: Zdá sa, že existuje ruský jazyk, ale čím hlbšie na stránku idete, tým sú výrazy zložitejšie, tým ich je menej.

Neexistuje žiadna skúšobná verzia. Vizuálny editor si môžete otestovať, no o ďalších funkciách sa dozviete až z popisov.

cena: 39 dolárov mesačne, ak máte 5 000 testovaných používateľov. Tučnejšia tarifa je 140 dolárov mesačne, čo vám umožňuje otestovať stránku na 40 000 unikátnych návštevníkoch. 200 000 testovaných používateľov mesačne stojí 390 dolárov. Ak zaplatíte za rok naraz, získate zľavu na všetky tarify.

Služba, ktorá dokáže zabezpečiť A/B pre počítače a mobilné zariadenia. Vo vizuálnom editore VWO môžete okamžite označiť cieľ pre kliknutia. Zvyšok je možné pridať v ďalšom kroku.

Služba ponúka možnosť pozrieť si tepelnú mapu, pridať kontextové okná a odoslať výzvu používateľom, ktorí si na stránke niečo kúpili, aby zanechali recenziu.

VWO má aj galériu nápadov. Vyzerá to ako maličkosť, ale je to milé. A je to užitočné: vlastník stránky nemusí sám vymýšľať niečo, čo by testoval. Môže si vybrať z možností pripravených profesionálmi. Nápady je možné filtrovať podľa odvetvia, zložitosti a stráveného času. Veľmi cool.

Výhody: Všade veľa funkcií, tipov a návodov. Jasný vizuálny editor núti programátorov nervózne fajčiť na vedľajšej koľaji. K dispozícii je skúšobná verzia na 30 dní. VWO sa integruje s Google Analytics, WordPress a 12 ďalšími službami.

nevýhody: Neexistuje žiadny ruský jazyk. A preto tipy nemusia pomôcť, ale rozzúriť.

cena: Ak má stránka menej ako 10 000 návštevníkov mesačne, cena služby je 59 dolárov mesačne. Až 30 000 návštevníkov - 155 USD, až 100 000 ľudí na stránke - 299 USD atď. Tradične je zľava pri platbe ročne.

Ponúka A/B, multivariačné a rozdelené testovanie, personalizáciu. Ciele kliknutí je možné označiť vo vizuálnom editore.

Funkcií je menej ako u niektorých konkurentov v recenzii, no Convert (pozor, ide o veľmi subjektívny názor) má z hľadiska výberu a ťahania objektov najpohodlnejší vizuálny editor. V iných službách sa rámy objektu chvejú, akoby ich používateľ radšej útočil sekerou, než aby sa ich opatrne dotýkal myšou.

Zachytenie rámu, zmena veľkosti objektu a jeho presun v editore A/B Tasty nie je testom pre slabé povahy. A v Convert ide všetko hladko a príjemne. Jediná vec je, že na úpravu textu budete musieť dostať do rúk kód CSS.

Výhody: Pohodlný vizuálny editor, integrácia s 35 analytickými a CRM službami, bezplatné skúšobné obdobie – 15 dní. Testy môžete prispôsobiť pre mobilné zariadenia.

nevýhody: Neexistuje žiadny ruský jazyk. Vizuálny editor je fajn, no budete sa v ňom musieť pohrabať a prísť na to.

cena: Lite tarifa (jednoduchá, áno) – 499 dolárov mesačne pre 400 000 návštevníkov, bez technickej podpory. Chcete, aby vám servisný personál pomohol? Zaplaťte navyše 200 dolárov. Čím viac návštevníkov, tým vyššia cena. Ak si službu zaplatíte rok vopred, dostanete zľavu.

Neovplyvní prudký skok v konverzii predaj? Alebo možno jednoducho neexistuje? Ak zakladáte rozhodnutia na falošných výsledkoch testov, v najlepšom prípade premeškáte šancu na optimalizáciu, v horšom prípade znížite konverziu.

Našťastie existuje spôsob, ako tomu zabrániť. Čo je A/A testovanie a ako ho vykonávať - ​​prečítajte si článok.

Falošne pozitívny výsledok

Povedzme, že hodnotíte kombinácie tlačidiel a nadpisov. Keď spoľahlivosť dosiahne 99 %, urobte závery a aplikujte ich v praxi.

Po niekoľkých obchodných cykloch vidíte: aktualizovaný dizajn neprináša očakávaný zisk. Vy ste však vykonali testovanie, investovali do toho čas a zdroje!

Toto je falošne pozitívny výsledok, známy aj ako „štatistická chyba typu 1“ a „falošné odmietnutie skutočnej nulovej hypotézy“. Vyskytuje sa častejšie, ako si myslíte – asi v 80 % prípadov.

Prečo sa to deje?

Efekt nástroja

Na začiatku experimentu je dôležité uistiť sa, že konfigurácia prístroja je správna a funguje podľa očakávania. V opačnom prípade riskujete, že dostanete:

• Nesprávne ukazovatele. Len jedna chyba môže skresliť vaše údaje A/B testovania. Minimálne integrujte so službou Google Analytics na krížovú kontrolu.
• Nesprávne zobrazenie vstupnej stránky. Uistite sa, že vstupné stránky vyzerajú správne na všetkých zariadeniach a prehliadačoch a že návštevníci nezaznamenajú efekty blikania.
• spôsobuje rovnaký problém. Predčasné ukončenie testu

. Niekedy softvér vyhlási „víťaza“ príliš skoro – keď veľkosť vzorky alebo reprezentatívnosť sú nedostatočné. Pamätajte, že to, že dosiahnete štatistickú významnosť, neznamená, že je čas prestať testovať. Čím je dlhšia, tým sú výsledky presnejšie.

Majte oči otvorené: ktorýkoľvek z týchto príznakov vedie k nesprávnemu záveru. Sledujte každý cieľ a metriku. Ak sa niektorý indikátor nezaregistruje (napríklad pridanie položky do košíka), zastavte test, opravte problém a začnite znova.

A/A verzus A/B

A/B test prevedie návštevnosť na riadiacu verziu a variáciu a ukáže, ktorá z nich funguje lepšie.

A/A – to isté, len pre dve rovnaké strany. Cieľom je nevidieť žiadne rozdiely v ich výkone. Len 20 % experimentov poskytuje spoľahlivé výsledky. Štatistická významnosť a veľká reprezentatívna vzorka nestačia. Preto odborníci používajú túto techniku do

Ako vidíte, tieto typy sa navzájom dopĺňajú.

Ak sú na konci experimentu miery konverzie oboch stránok rovnaké, môžete spustiť A/B test. V praxi veci nie vždy idú hladko.

Príklad 1. Ako môže stránka prehrať svoj klon

Toto je vstupná stránka, ktorú tím Copyhackers testoval v novembri 2012:

Po 6 dňoch testovací systém označil možnosť „víťaznú“ na úrovni spoľahlivosti 95 %. Kvôli presnosti bol experiment predĺžený o deň - a dosiahla sa presnosť 99,6%:

Je stránka o 24 % efektívnejšia ako presne tá istá stránka? Výsledok je falošne pozitívny. Po ďalších 3 dňoch rozdiely zmizli:

Záver: test vypočítal víťaza príliš skoro.

Príklad 2. Ako nerobiť nič a zvýšiť konverzie o 300 %

Čo vidíme:

• 9% - zvýšenie miery otvárania listov;
• Počet kliknutí na odkazy sa zvýšil o 300 %;
• Miera odhlásení z mailing listu klesla o 51 %.

A všetko by bolo v poriadku, ale toto je test A/A! Obsah, ktorý si navzájom konkuruje, je absolútne identický.

Oplatí sa robiť A/A testy?

Renomovaný odborník Neil Patel zaznamenal veľké skoky v konverzii bez zvýšenia výnosov. Odporúča najprv otestovať softvér, aby sa neskôr nemuseli zaoberať dôsledkami nesprávnych rozhodnutí.

Samotné testy sú podľa Pip Lay, zakladateľa agentúry ConversionXL, stratou času.

Komu veriť? Na jednej strane je presnosť prvoradá a metóda A/A je spôsob, ako ju zabezpečiť. Na druhej strane dochádza k plytvaniu prostriedkami na testovanie, ako aj prípravu naň.

Craig Sullivan, odborník na používateľské skúsenosti, je presvedčený, že 40 testov za mesiac je pre zamestnancov veľká záťaž. Je lepšie stráviť pol dňa kontrolou kvality ako 2-4 týždne len testovaním nástroja.

Problém #1. A/A testy zaberajú čas a návštevnosť, ktoré môžete stráviť štúdiom správania návštevníkov stránok.

Problém #2. A/B aj A/A musia byť starostlivo organizované a monitorované, aby sa predišlo falošným výsledkom. Ako v príklade od Copyhackers.

Je na vás, aby ste sa rozhodli, či pri rozhodovaní trávite čas alebo riskujete spoľahlivosť softvéru.

Existuje potenciálne lacnejšia možnosť - A/A/B.

A/A/B oproti A/A

Tradičné A/A testovanie vám o vašich návštevníkoch nič nehovorí. Ak však do procesu pridáte ďalšiu možnosť, je to iná vec.

A/A = súťažia 2 rovnaké stránky.

A/A/B = A/A test + jedna dodatočná variácia.

Pochopíte, či sa nástroju oplatí dôverovať. Ak áno, vyberte si najlepšiu verziu podľa jej indikácií. Ak nie, nemali by sa používať.

Áno, dosiahnutie štatistickej významnosti trvá dlhšie. Hodnotíte ale aj softvér, a ak potvrdí jeho spoľahlivosť, tak aj správanie návštevníkov.

Záver

Prevažujú výhody A/A testovania jeho nevýhody? Jednoznačná odpoveď neexistuje. Vykonávanie testov mesačne je zbytočné. Dosť - pri použití nového softvéru (služba na vykonávanie testov). Pre tých, ktorí majú naozaj málo času, je tu kompromisná možnosť – A/A/B test.

Ak odstránite chyby dnes, v budúcnosti získate presnejšie výsledky.

Vysoké konverzie pre vás!