การทดสอบ A/B หรือที่เรียกว่าการทดสอบแยก เป็นหนึ่งในวิธีที่มีประสิทธิภาพมากที่สุดในการปรับปรุงเว็บไซต์ของคุณที่วัดผลได้ (และอิงตามหลักวิทยาศาสตร์) ในทางปฏิบัติ ดูเหมือนว่า: มีการพัฒนาเนื้อหาสองเวอร์ชัน - ตัวอย่างเช่น สำหรับหน้า Landing Page - และหน้าดังกล่าวสองหน้าจะเปิดตัวพร้อม ๆ กันแก่ผู้ชมที่มีขนาดเท่ากันเพื่อดูว่าหน้าใดทำงานได้ดีกว่า การทดสอบนี้ทำอย่างถูกต้อง แสดงให้เห็นว่าการเปลี่ยนแปลงใดจะช่วยเพิ่ม Conversion

หลายๆ คนมีคำถามเกี่ยวกับวิธีเปิดตัวและดำเนินการทดสอบ A/B ให้ประสบความสำเร็จ ต่อไปนี้เป็นคำถามและคำตอบยอดนิยมสำหรับพวกเขา

1. A/B จะทำการทดสอบแนวคิดที่ดี/ไม่ดีเมื่อใด

บ่อยครั้งที่การทดสอบเหล่านี้ล้มเหลวเนื่องจากไม่มีเป้าหมายที่ชัดเจน ดังนั้นคุณจำเป็นต้องรู้ว่าคุณกำลังทดสอบอะไร ตัวอย่างเช่น ใช้การทดสอบลักษณะนี้เพื่อทดสอบทฤษฎี: รูปภาพนี้จะช่วยเพิ่ม Conversion หากเพิ่มลงในหน้า Landing Page หรือไม่ ผู้คนมีแนวโน้มที่จะกดปุ่มสีน้ำเงินหรือปุ่มสีแดงมากกว่ากัน? จะเกิดอะไรขึ้นหากคุณเปลี่ยนพาดหัวเพื่อเน้นย้ำว่าข้อเสนอนี้มีระยะเวลาจำกัด ผลกระทบของการเปลี่ยนแปลงทั้งหมดนี้สามารถวัดผลได้ค่อนข้างมาก

ผู้คนประสบปัญหามากมายในการทำการทดสอบ A/B เมื่อเป้าหมายไม่ชัดเจนเกินไป เช่น การทดสอบสองการออกแบบที่แตกต่างกันมาก สิ่งนี้อาจลากยาวเป็นเวลานานจนกว่าจะมีการตัดสินผู้ชนะที่ชัดเจน และในกรณีนี้ ก็สามารถสรุปผลที่ไม่ถูกต้องได้ และจะมีความไม่แน่นอนว่าอะไรทำให้เกิด Conversion เพิ่มขึ้น

2. การทดสอบ A/B ควรมีตัวแปรจำนวนเท่าใด

สมมติว่าคุณทำการบ้านเสร็จแล้วและมีแนวคิดการออกแบบหน้า Landing Page ที่น่าทึ่งสี่แนวคิด แน่นอนว่า ฉันต้องการเปิดตัวตัวเลือกทั้ง 4 ตัวพร้อมกันและตัดสินผู้ชนะ แต่การเปิดตัวพร้อมกันดังกล่าวไม่ถือเป็นการทดสอบ A/B อีกต่อไป พูดง่ายๆ ก็คือมีปัจจัยหลายประการจากแต่ละตัวเลือกที่สามารถทำให้น้ำใสของผลลัพธ์ขุ่นมัวได้ ข้อดีของการทดสอบ A/B ที่เหมาะสมก็คือผลลัพธ์มีความน่าเชื่อถือและเฉพาะเจาะจง

3. สมมติฐานว่างคืออะไร?

สมมติฐานว่างคือสมมติฐานที่ว่าผลต่างในผลลัพธ์เกิดจากข้อผิดพลาดในการสุ่มตัวอย่างหรือการเปลี่ยนแปลงมาตรฐาน คิดจะโยนเหรียญ แม้ว่าโอกาสในการตกศีรษะของเธอคือ 50/50 แต่บางครั้งในทางปฏิบัติก็อยู่ที่ 51/49 หรืออัตราส่วนอื่น ๆ ขึ้นอยู่กับโอกาส อย่างไรก็ตาม ยิ่งคุณพลิกเหรียญมากเท่าไร คุณก็จะยิ่งเข้าใกล้ผลลัพธ์ 50/50 มากขึ้นเท่านั้น

ในสถิติ แนวคิดได้รับการพิสูจน์ว่าถูกหรือผิดโดยการท้าทายสมมติฐานว่าง ในกรณีของเรา การท้าทายสมมติฐานนี้คือทำการทดสอบเป็นเวลานานพอสมควรเพื่อแยกผลลัพธ์แบบสุ่มออก สิ่งนี้เรียกว่าการบรรลุนัยสำคัญทางสถิติ

4. จำเป็นต้องมีการเข้าชมหน้าเว็บกี่ครั้งจึงจะได้ผลการทดสอบ A/B ที่ดี

ก่อนที่จะตรวจสอบผลลัพธ์ของการทดสอบ A/B คุณควรตรวจสอบให้แน่ใจว่ามีนัยสำคัญทางสถิติ ซึ่งเป็นจุดหนึ่งที่คุณสามารถมั่นใจได้ 95 เปอร์เซ็นต์หรือมากกว่านั้นว่าผลลัพธ์นั้นถูกต้อง

ข่าวดีก็คือ เครื่องมือทดสอบจำนวนมากมีตัวนับนัยสำคัญทางสถิติอยู่แล้วในตัว เพื่อแจ้งเตือนคุณเมื่อผลการทดสอบพร้อมสำหรับการตีความ หากคุณไม่มี คุณสามารถใช้เครื่องคิดเลขและเครื่องมือฟรีเครื่องใดเครื่องหนึ่งเพื่อคำนวณนัยสำคัญทางสถิติได้

5. การทดสอบหลายตัวแปรคืออะไร และแตกต่างจากการทดสอบ A/B อย่างไร

โดยทั่วไปการทดสอบ A/B ใช้เพื่อระบุโซลูชันการออกแบบใหม่ที่มีประสิทธิภาพเพื่อให้บรรลุเป้าหมายเฉพาะ (เช่น การเพิ่ม Conversion) โดยทั่วไปการทดสอบหลายตัวแปรจะใช้เพื่อทดสอบการเปลี่ยนแปลงเล็กๆ น้อยๆ ในระยะเวลาที่นานขึ้น ครอบคลุมองค์ประกอบเว็บไซต์หลายรายการและตรวจสอบการผสมผสานองค์ประกอบเหล่านี้ที่เป็นไปได้ทั้งหมดเพื่อการเพิ่มประสิทธิภาพอย่างต่อเนื่อง Corey Eridon ผู้เชี่ยวชาญ HubSpot อธิบายความแตกต่างในการใช้การทดสอบอย่างใดอย่างหนึ่ง:

“การทดสอบ A/B เป็นวิธีที่ดีเยี่ยมหากคุณต้องการผลลัพธ์ที่รวดเร็วและมีความหมาย เนื่องจากการเปลี่ยนแปลงในแต่ละหน้ามองเห็นได้ชัดเจน จึงง่ายกว่าที่จะบอกว่าหน้าใดทำงานได้ดีที่สุด นี่เป็นตัวเลือกที่เหมาะสมหากไซต์ของคุณมีการเข้าชมต่ำ

แต่เพื่อให้ได้ผลลัพธ์ที่ถูกต้องในการทดสอบหลายตัวแปร คุณต้องมีไซต์ที่มีการเข้าชมสูง เนื่องจากในการทดสอบดังกล่าวจะมีการตรวจสอบองค์ประกอบที่เปลี่ยนแปลงหลายรายการ

หากคุณมีปริมาณการเข้าชมเพียงพอสำหรับการทดสอบหลายมิติ (แม้ว่าคุณจะยังคงสามารถใช้การทดสอบ A/B เพื่อทดสอบการออกแบบและเค้าโครงใหม่ได้) วิธีที่ดีที่สุดคือดำเนินการเมื่อคุณต้องการเปลี่ยนแปลงเล็กน้อยในหน้าเว็บ เพื่อทำความเข้าใจว่าองค์ประกอบบางอย่างโต้ตอบกับอย่างไร ซึ่งกันและกันและค่อย ๆ ปรับปรุงการออกแบบที่มีอยู่”

6. จริงหรือไม่ที่การทดสอบ A/B ส่งผลเสียต่อ SEO?

มีความเชื่อผิดๆ ว่าการทดสอบ A/B ลดอันดับของเว็บไซต์ในเครื่องมือค้นหา เนื่องจากสามารถจัดประเภทเป็นเนื้อหาที่ซ้ำกัน (ซึ่งเครื่องมือค้นหาทราบดีว่าไม่ตอบสนองในทางที่ดีนัก) อย่างไรก็ตาม กรณีนี้ไม่เป็นเช่นนั้นอย่างแน่นอน - ด้วยแนวทางการทดสอบที่ถูกต้อง ในความเป็นจริง Matt Cutts จาก Google แนะนำให้ใช้การทดสอบแยกเพื่อปรับปรุงฟังก์ชันการทำงานของไซต์ของคุณ เครื่องมือเพิ่มประสิทธิภาพเว็บไซต์ก็มีข้อพิสูจน์ที่ดีต่อความเชื่อผิดๆ นี้เช่นกัน

หากคุณยังมั่นใจเป็นอย่างอื่น คุณสามารถเพิ่มแท็ก noindex ให้กับรูปแบบหนึ่งของหน้าได้ทุกเมื่อ อ่านคำแนะนำโดยละเอียดเกี่ยวกับวิธีเพิ่มแท็กดังกล่าว

บันทึกของบรรณาธิการบริหาร. Google เพิ่งเผยแพร่เกี่ยวกับวิธีป้องกันไม่ให้การทดสอบ A/B ส่งผลเสียต่อการจัดอันดับเว็บไซต์ของคุณในผลการค้นหาของ Google

7. ฉันจะตีความผลลัพธ์ของการทดสอบแยกได้อย่างไรและเมื่อไหร่?

การทดสอบเริ่มต้นขึ้น ข้อมูลเริ่มสะสม และคุณต้องการทราบว่าใครเป็นผู้ชนะ แต่ช่วงแรกไม่ใช่เวลาที่เหมาะสมในการตีความผลการทดสอบ รอจนกระทั่งการทดสอบของคุณมีนัยสำคัญทางสถิติ (ดูขั้นตอนที่ 4) จากนั้นกลับสู่สมมติฐานเดิม การทดสอบได้ยืนยันหรือหักล้างสมมติฐานของคุณอย่างชัดเจนหรือไม่? ถ้าใช่คุณสามารถสรุปได้ เมื่อวิเคราะห์การทดสอบ อย่ารีบด่วนสรุปผลการทดสอบตามการเปลี่ยนแปลงเฉพาะ ตรวจสอบให้แน่ใจว่ามีความเชื่อมโยงที่ชัดเจนระหว่างการเปลี่ยนแปลงกับผลลัพธ์ และไม่มีปัจจัยที่ทำให้เกิดความสับสน

8. ควรทดสอบองค์ประกอบที่เปลี่ยนแปลงกี่รายการ?

คุณต้องมีการทดสอบที่มีผลลัพธ์ที่น่าเชื่อถือ คุณใช้เวลาไปกับการทดสอบ ดังนั้นคุณจึงอาจต้องการคำตอบที่ชัดเจนในท้ายที่สุด ปัญหาในการทดสอบการเปลี่ยนแปลงหลายรายการพร้อมกันคือ คุณจะไม่สามารถระบุได้อย่างแม่นยำว่าการเปลี่ยนแปลงใดมีประโยชน์มากที่สุด นั่นคือ คุณสามารถบอกได้อย่างแน่นอนว่าหน้าเว็บใดมีประสิทธิภาพโดยรวมดีกว่า แต่ถ้าคุณทดสอบองค์ประกอบที่แตกต่างกันสามหรือสี่องค์ประกอบในแต่ละหน้า คุณจะไม่ทราบว่าองค์ประกอบใดที่ส่งผลเสียต่อหน้าเว็บ และคุณจะไม่สามารถแนะนำองค์ประกอบที่เป็นประโยชน์แก่ หน้าอื่นๆ คำแนะนำของเรา: ทำการทดสอบพื้นฐานหลายชุด โดยทำการเปลี่ยนแปลงหนึ่งครั้งในแต่ละครั้ง เพื่อที่จะค่อยๆ มาถึงเวอร์ชันที่มีประสิทธิภาพสูงสุดของหน้าเว็บด้วยกำลังอันดุเดือด

9. ฉันควรทดสอบอะไร?

• คำกระตุ้นการตัดสินใจแม้จะดูองค์ประกอบเดียวนี้ คุณก็สามารถทดสอบหลายๆ อย่างได้ เพียงให้แน่ใจว่าคุณเข้าใจแง่มุมเฉพาะของคำกระตุ้นการตัดสินใจที่คุณต้องการทดสอบ คุณสามารถทดสอบข้อความในการโทรได้: มันผลักดันให้ผู้ที่ดูการโทรทำอะไร? คุณสามารถทดสอบเลย์เอาต์ได้: ควรโทรออกที่ใดบนหน้าดีที่สุด? คุณยังสามารถทดสอบรูปร่างและสไตล์ได้: มันดูเป็นอย่างไร?
• ชื่อ.โดยปกติแล้วนี่คือสิ่งแรกที่ผู้เข้าชมอ่านบนเว็บไซต์ของคุณ ดังนั้นโอกาสที่จะเกิดผลกระทบที่นี่จึงมีนัยสำคัญ ลองใช้พาดหัวสไตล์ต่างๆ ในการทดสอบ A/B ตรวจสอบให้แน่ใจว่าความแตกต่างระหว่างแต่ละชื่อมีความชัดเจน และไม่ใช่แค่การปรับปรุงสิ่งเดียวกันโดยไม่ได้ตั้งใจ นี่เป็นสิ่งจำเป็นเพื่อที่จะทราบได้อย่างชัดเจนว่าอะไรทำให้เกิดการเปลี่ยนแปลง
• ภาพ.อันไหนมีประสิทธิภาพมากกว่ากัน? เป็นภาพคนใช้ผลิตภัณฑ์ของคุณหรือตัวผลิตภัณฑ์เอง? ลองใช้หน้ารูปแบบต่างๆ ด้วยรูปภาพสนับสนุนต่างๆ และดูว่ามีประสิทธิภาพแตกต่างกันหรือไม่
• ความยาวข้อความย่อให้สั้นลงจะช่วยให้ข้อความชัดเจนขึ้นหรือไม่ หรือคุณต้องการข้อความเพิ่มเติมเพื่ออธิบายสาระสำคัญของข้อเสนอ ด้วยการลองใช้สำเนาเนื้อหาเวอร์ชันต่างๆ คุณสามารถกำหนดได้ว่าผู้อ่านต้องการคำชี้แจงมากน้อยเพียงใดก่อนที่จะแปลง เพื่อให้การทดสอบนี้ได้ผล ให้ลองใช้ข้อความที่มีเนื้อหาใกล้เคียงกันโดยเปลี่ยนเฉพาะระดับเสียงเท่านั้น

10. เป็นไปได้ไหมที่จะทดสอบอย่างอื่นนอกเหนือจากหน้าเว็บโดยใช้การทดสอบ A/B?

แน่นอน! นอกเหนือจากหน้า Landing Page และหน้าเว็บแล้ว นักการตลาดจำนวนมากยังใช้การทดสอบ A/B สำหรับกล่องจดหมายอีเมล แคมเปญ PPC (จ่ายต่อคลิก) และคำกระตุ้นการตัดสินใจ

• อีเมล.ในที่นี้ องค์ประกอบที่เปลี่ยนแปลงที่กำลังทดสอบอาจเป็นหัวเรื่องของจดหมาย เทคนิคการตั้งค่าส่วนบุคคล และชื่อของผู้ส่ง
• แคมเปญพีพีซีในระหว่างแคมเปญเหล่านี้ คุณสามารถใช้การทดสอบ A/B กับพาดหัว ข้อความเนื้อหา ข้อความลิงก์ และคำหลักได้
• คำกระตุ้นการตัดสินใจที่นี่คุณสามารถทดลองใช้ข้อความการโทร รูปร่าง การออกแบบสี และตำแหน่งบนหน้าได้

11. ฉันจะค้นหาตัวอย่างการทดสอบ A/B จากบริษัทที่คล้ายกันได้อย่างไร

มีหลายไซต์ที่มีตัวอย่างและผลลัพธ์ของการทดสอบ A/B บางส่วนอนุญาตให้คุณค้นหาตามประเภทบริษัท และส่วนใหญ่จะให้ข้อมูลโดยละเอียดเกี่ยวกับวิธีที่บริษัทตีความผลการทดสอบ หากคุณเพิ่งเริ่มต้นการทดสอบ A/B คุณจะพบว่าการอ่านไซต์เหล่านี้บางส่วนจะมีประโยชน์เพื่อให้ทราบว่าบริษัทของคุณจำเป็นต้องทดสอบอะไรบ้าง

• ซึ่งTestWon.comมีตัวอย่างมากมายบนเว็บไซต์นี้ และยังมีการแข่งขันประจำปีบางรายการที่คุณสามารถส่งแบบทดสอบได้
• เครื่องมือเพิ่มประสิทธิภาพเว็บไซต์แบบภาพนำเสนอซอฟต์แวร์การทดสอบ A/B บล็อกของบริษัทมีตัวอย่างบางส่วนที่คุณสามารถเรียนรู้ได้
• เอบีเทสต์.คอมไซต์นี้ไม่ได้รับการอัปเดตอีกต่อไป แต่มีการเก็บถาวรการทดสอบ A/B ที่ดี

12. ฉันควรทำอย่างไรหากฉันไม่ไว้วางใจผลลัพธ์?

หากคุณไม่ไว้วางใจผลลัพธ์จริงๆ และได้ขจัดข้อผิดพลาดหรือปัญหาใดๆ เกี่ยวกับความถูกต้องของการทดสอบแล้ว วิธีที่ดีที่สุดคือทำการทดสอบเดิมอีกครั้ง ถือเป็นการทดสอบแยกกันโดยสิ้นเชิงและดูว่าคุณสามารถทำซ้ำผลลัพธ์ได้หรือไม่ หากเกิดขึ้นซ้ำแล้วซ้ำอีก ก็สามารถเชื่อถือได้

13. คุณควรทำการทดสอบ A/B บ่อยแค่ไหน?

มีโอกาสที่จะทดสอบบางสิ่งบนไซต์ของคุณอยู่เสมอ เพียงตรวจสอบให้แน่ใจว่าการทดสอบแต่ละครั้งมีเป้าหมายที่ชัดเจนและส่งผลให้ไซต์ใช้งานได้มากขึ้นสำหรับผู้เยี่ยมชมและบริษัทของคุณ หากคุณทำการทดสอบจำนวนมากและจบลงด้วยผลกระทบน้อยที่สุดและชนะเพียงเล็กน้อย ให้พิจารณากลยุทธ์การทดสอบของคุณอีกครั้ง

14. คุณต้องมีอะไรบ้างเพื่อเริ่มการทดสอบ A/B บนเว็บไซต์ของคุณ?

วิธีที่ดีที่สุดในการทำการทดสอบ A/B คือการใช้ซอฟต์แวร์เฉพาะ เช่น Visual Website Optimizer, HubSpot, Unbounce หากคุณไม่รังเกียจที่จะเล่นซอโค้ดสักหน่อย Google ก็มีเครื่องมือฟรีที่เรียกว่า Content Experiments ใน Google Analytics เช่นกัน แตกต่างจากการทดสอบ A/B แบบดั้งเดิมเล็กน้อย แต่หากคุณมีความก้าวหน้าทางเทคนิค ก็คุ้มค่าที่จะลองดู

15. อะไรคือข้อผิดพลาดด้านความถูกต้องบางประการนอกเหนือจากขนาดตัวอย่าง?

เมื่อปีที่แล้ว MECLABS ได้รวบรวมชุดภัยคุกคามเพื่อทดสอบความถูกต้อง ในที่นี้ Dr. Flint McGlaughlin จะพิจารณาข้อผิดพลาดในการทดสอบและวิธีลดความเสี่ยงในการเผชิญข้อผิดพลาดในการทดสอบของคุณ เราขอแนะนำให้อ่านข้อความฉบับเต็ม แต่เรายังคงให้ข้อผิดพลาดสองสามรายการจากรายการ:

• มีบางอย่างเกิดขึ้นในโลกภายนอกที่ทำให้เกิดอคติด้านลบในผลการทดสอบ
• จุดบกพร่องในซอฟต์แวร์ทดสอบบ่อนทำลายผลลัพธ์

16. จำเป็นต้องทำการทดสอบ A/B ในหน้าหลักของเว็บไซต์หรือไม่?

งานในการพัฒนาการทดสอบหน้าแรกที่ถูกต้องอาจเป็นเรื่องยากมาก ปริมาณการเข้าชมหน้านี้มีความผันแปรมาก เนื่องจากทุกคนเข้ามาที่หน้านี้ ตั้งแต่ผู้เยี่ยมชมทั่วไปไปจนถึงผู้มีโอกาสเป็นลูกค้าและผู้ซื้อจริง นอกจากนี้ หน้าแรกมักประกอบด้วยเนื้อหาจำนวนมาก ดังนั้นจึงอาจเป็นเรื่องยากที่จะระบุในการทดสอบครั้งเดียวว่าอะไรทำให้ผู้เยี่ยมชมกระทำหรือไม่กระทำ

สุดท้ายนี้ เนื่องจากมีผู้เข้าชมหลายประเภทที่เข้ามายังหน้าแรกของคุณ การกำหนดวัตถุประสงค์เฉพาะของการทดสอบและหน้าเว็บจึงเป็นเรื่องที่ท้าทาย คุณอาจมีเป้าหมายในการทดสอบ Conversion แต่หากลูกค้าจริงเข้าชมหน้าเว็บเวอร์ชันทดสอบมากกว่าผู้มีโอกาสเป็นลูกค้า เป้าหมายของคุณสำหรับกลุ่มนี้อาจเปลี่ยนแปลงได้

หากคุณต้องการทดสอบหน้าแรกของคุณ ให้เริ่มทดสอบคำกระตุ้นการตัดสินใจ

17. จะเกิดอะไรขึ้นถ้าฉันไม่มีเพจเวอร์ชันหลัก?

เวอร์ชันควบคุมคือเวอร์ชันที่มีอยู่ของหน้าเว็บที่คุณมักจะผลักดันรูปแบบใหม่ออกไป คุณอาจต้องการทดสอบเพจสองเวอร์ชันที่ไม่เคยมีมาก่อน และนั่นก็เป็นเรื่องปกติ เพียงเรียกหนึ่งในนั้นควบคุม ลองเลือกอันที่มีการออกแบบคล้ายกับหน้าที่มีอยู่มากที่สุดและใช้อันอื่นเป็นตัวเลือก

18. เหตุใดผลลัพธ์ของการทดสอบ A/B จึงไม่ 50/50 เสมอไป

บางครั้งเมื่อทำการทดสอบ A/B คุณอาจสังเกตเห็นว่าหน้าเว็บเวอร์ชันต่างๆ มีการเข้าชมไม่เท่ากัน นี่ไม่ได้หมายความว่าการทดสอบมีอะไรผิดปกติ เพียงแต่ความแปรผันแบบสุ่มปรากฏขึ้นโดยบังเอิญ คิดเกี่ยวกับการพลิกเหรียญ โอกาสออกหัวและก้อยอยู่ที่ 50/50 แต่บางครั้งก้อยก็ปรากฏ 3 ครั้งติดต่อกัน อย่างไรก็ตาม ยิ่งมีการเข้าชมเพจของคุณมากเท่าใด ผลการทดสอบก็ควรจะเข้าใกล้ 50/50 มากขึ้นเท่านั้น

“อย่าถือสาอะไรทั้งนั้น การตัดสินใจขึ้นอยู่กับผลการปฏิบัติเท่านั้นนั่นคือผลการทดสอบ ทุกสิ่งควรได้รับการทดสอบ ฉันทำสิ่งนี้ตลอดเวลา” (ค) แกรี่ เฮลเบิร์ต

และในเรื่องนี้ฉันเห็นด้วยอย่างยิ่งกับราชาแห่งการขายตำรา (กล่าวอีกนัยหนึ่งคือนักเขียนคำโฆษณาที่มีชื่อเสียงที่สุดในยุคของเรา)

การทดสอบ A/B คือสิ่งที่จำเป็นสำหรับการตัดสินใจที่ถูกต้อง ไม่ใช่แค่ขึ้นอยู่กับความรู้สึกของคุณเองเท่านั้น มันคืออะไรและทำอย่างไรเราจะกล่าวถึงในบทความนี้

ระยะทางที่ห่างไกล

ตามมาตรฐานแล้ว การทดสอบ A/B มาจากภาษาอังกฤษ โดยที่เรียกอีกอย่างว่าการทดสอบแยกหรือการทดสอบแยก แต่สิ่งที่น่าสนใจที่สุดคือการแปล

การทดสอบเอ/บี(หรือการทดสอบแยก) เป็นหนึ่งในวิธีการทางการตลาดที่มีการเปรียบเทียบกลุ่มองค์ประกอบหนึ่งกับองค์ประกอบอีกกลุ่มหนึ่งที่มีข้อมูลต่างกัน

วัตถุประสงค์ของการดำเนินการคือเพื่อค้นหาว่าองค์ประกอบกลุ่มใดที่จะมีอัตรา Conversion หรือตัวบ่งชี้ที่สูงกว่า

นั่นคือทุกอย่างค่อนข้างง่าย คุณสร้างผลิตภัณฑ์โฆษณาที่แตกต่างกัน 2 เวอร์ชัน (ปล่อยให้เป็นอีเมลที่ขายบริการของคุณ) และที่ส่วนท้ายของจดหมายเหล่านี้ คุณจะสร้างเวอร์ชันอื่นขึ้นมา

และเพียงนับการแปลงตัวอักษรตัวใดที่สูงกว่า นี่คือแก่นแท้ของการทดสอบ A/B

นี่คือตัวอย่างที่ชัดเจนในระดับไซต์ โดยเราจะพิจารณาว่าการจัดเรียงบล็อกที่เปลี่ยนแปลงส่งผลต่อผลลัพธ์อย่างไร กล่าวคือช่วงของรุ่นที่ยกขึ้นไปด้านบน

การทดสอบเอ/บี

แต่หากคุณกำลังทดสอบหน้า Landing Page 2 หน้าซึ่งมีการเปลี่ยนส่วนหัว ปุ่มคำกระตุ้นการตัดสินใจที่มีรูปร่างและขนาดต่างกัน นี่จะไม่ใช่แค่การทดสอบ A/B อีกต่อไป แต่เป็นการทดสอบหลายตัวแปรหรือ A/ การทดสอบ B/N

เหตุใดจึงมีการพูดถึงการทดสอบนี้มากมายในตอนนี้? มันง่ายมาก นักการตลาดชอบที่จะแสดงความเชี่ยวชาญของตนผ่านกลเม็ดต่างๆ ซึ่งรวมถึงการทดสอบด้วย

และเจ้าของบริษัทใฝ่ฝันที่จะหายาวิเศษและเชื่อว่าการทดสอบแยกเป็นเพียงยาครอบจักรวาลสำหรับสื่อโฆษณาของตน (โดยเฉพาะเมื่อ)

การทดสอบนี้จะบอกอะไรคุณได้บ้าง?

ในความเป็นจริง ไม่ใช่ทุกอย่างจะแย่ขนาดนั้นและการทดสอบแยกไซต์ให้ประโยชน์แก่บริษัทต่างๆ จริงๆ และสามารถเปลี่ยนสถานการณ์ได้ในช่วงเวลาสั้นๆ กล่าวคือ:

1. - ที่ง่ายที่สุดและในเวลาเดียวกันเป็นตัวบ่งชี้ที่เป็นที่ต้องการมากที่สุดของเจ้าของโดยเฉพาะในเว็บไซต์
2. ปัจจัยด้านพฤติกรรมที่เปลี่ยนไป ไม่ชัดเจนที่สุด แต่เป็นปัจจัยที่มีอิทธิพลต่อยอดขายที่เพิ่มขึ้นอีกครั้ง
3. เช็คเฉลี่ยเพิ่มขึ้น นี่คือการเพิ่มคำกระตุ้นการตัดสินใจประเภทต่างๆ หรือใช้ตัวอย่างของไซต์ บล็อกที่คุ้นเคย “พวกเขาซื้อพร้อมกับผลิตภัณฑ์นี้”

สรุปคือทั้งหมดมาจากการเพิ่มยอดขาย และมันก็คุ้มค่ากับความสนใจของคุณอย่างแน่นอน

แต่มีสิ่งหนึ่งที่ "แต่" และบางทีในขั้นตอนนี้คุณจะเข้าใจว่าคุณไม่ต้องการมัน

“แต่” นี้ชี้ให้เห็นว่าเป็นเรื่องยากมากที่จะบรรลุยอดขายที่พุ่งสูงโดยการเปลี่ยนองค์ประกอบหนึ่งรายการ

โอกาสโดยประมาณคือ 1 ใน 1,000 เนื่องจากมีการเปลี่ยนส่วนประกอบขนาดเล็ก ซึ่งแทบไม่มีความแตกต่างกันอย่างรุนแรง

และเมื่อสำหรับคุณ นี่คือหยดน้ำในมหาสมุทร คุณควรมุ่งความสนใจไปที่ส่วนประกอบที่สำคัญมากกว่า

นอกจากนี้ แม้ว่าคุณจะไม่ได้สร้างการเข้าชม แต่ในขณะที่คุณเพียงทดสอบช่องทางและวิธีการโฆษณาต่างๆ บนอินเทอร์เน็ต คุณไม่จำเป็นต้องเริ่มการทดสอบด้วยซ้ำ

เนื่องจากตัวบ่งชี้จะไม่ถูกต้องเนื่องจากการจราจรไม่เหมือนกันและอย่างที่คุณทราบ ผู้คนต่างทำหน้าที่แตกต่างกัน

หากคุณไม่มีประสบการณ์ในการทำการทดสอบ A/B (ไม่เช่นนั้นคุณจะไม่อยู่ที่นี่) ฉันขอแนะนำให้คุณอ่านกรณีต่างๆ ก่อน

และโดยเฉพาะอย่างยิ่งให้ความสนใจกับกรณีของผู้ที่ประสบความสำเร็จในการแปลง/เปลี่ยนแปลงพฤติกรรมบน RuNet เพิ่มขึ้น วิธีนี้จะทำให้คุณเข้าใจว่าควรทดสอบอะไรดีกว่า

หรือจะไปเส้นทางอื่นก็ได้ จัดทำรายการเบื้องต้น (แผน) ของสิ่งที่คุณจะทดสอบบนเว็บไซต์

สิ่งนี้ควรทำตามสมมติฐานของคุณ ความคิดเห็นของกลุ่มเป้าหมาย (สถานการณ์กรณีที่เลวร้ายที่สุด) หรือตามข้อมูลจาก ทั้งนี้เพื่อป้องกันไม่ให้คุณถูกโยนจากด้านหนึ่งไปอีกด้าน

สำคัญ.ลืมเรื่องความหลายตัวแปรไปได้เลย และทำการทดสอบเพียงครั้งละหนึ่งรายการเท่านั้น จากประสบการณ์ของเรา ชุดค่าผสมที่ได้ผลดีที่สุดคือ 1 การทดสอบ = 1 การเปลี่ยนแปลง

มิฉะนั้นคุณจะไม่เข้าใจว่าอะไรให้ผลลัพธ์ที่แท้จริง และจะน่าสนใจยิ่งขึ้นไปอีกเมื่อการเปลี่ยนแปลงรายการหนึ่งให้ +0.5 และการเปลี่ยนแปลงอีกครั้งในหน้าเดียวกันคือ -0.5 ให้กับ Conversion

ผลลัพธ์คือ 0 และองค์ประกอบที่มีอิทธิพลเชิงบวกที่ถูกมองข้าม ดังนั้นอย่าทำผิดพลาดนี้

สำคัญ.ลืมทฤษฎีที่คลุมเครือไปได้เลย จากซีรีส์ “เราจำเป็นต้องเปลี่ยนแปลงบางอย่างในไซต์ทำให้ขายได้มากขึ้น”

ทฤษฎีปกติสำหรับการทดสอบคือในหน้าหนึ่งปุ่มจะเป็นสีแดง ส่วนอีกหน้าเป็นสีน้ำเงิน

หน้าหนึ่งมีราคา อีกหน้าหนึ่งไม่มีราคา เพียงเท่านี้คุณก็จะมั่นใจในผลลัพธ์ เกณฑ์ที่ชัดเจน = ผลลัพธ์ที่ชัดเจน

สำคัญ. ผลลัพธ์ที่ได้ในช่วงเวลาสั้น ๆ = ผลลัพธ์ที่ไม่ดี

โดยเฉพาะอย่างยิ่งหากในช่วงเวลาสั้นๆ มีผู้เยี่ยมชมไซต์ของคุณเพียง 20 คน

ดังนั้น ก่อนที่คุณจะเร่งทดสอบเว็บไซต์ คุณต้องเข้าใจว่ามีผู้เข้าชมเว็บไซต์กี่คนในแต่ละวัน และการทดสอบจะใช้เวลากี่วัน

เครื่องคำนวณเวลาทดสอบ

เพื่อป้องกันไม่ให้คุณรู้สึกเบื่อ ฉันพบเครื่องคิดเลขที่จะช่วยคุณคำนวณระยะเวลาที่เหมาะสมที่สุดสำหรับการทดสอบไซต์ - vwo.com/ab-split-test-duration/

เครื่องคิดเลข

มันเป็นภาษาอังกฤษ ดังนั้นในกรณีที่ฉันแปลและถอดความบรรทัดที่คุณจะต้องกรอก:

1. อัตราการแปลงปัจจุบันของเพจของคุณ วิธีนับอ่านที่นี่ -
2. เปอร์เซ็นต์ที่คุณต้องการเพิ่มการแปลงที่มีอยู่
3. จำนวนชุดค่าผสมที่ต้องการ ตัวอย่างเช่น หากคุณต้องการทราบว่าพาดหัวข่าวใดบนเว็บไซต์ที่แปลงได้ดีกว่า นี่คือชุดค่าผสมเดียว

   หากคุณต้องการเปลี่ยนชื่อเรื่อง แต่ในขณะเดียวกันก็เปลี่ยนข้อความและขนาดด้วย สิ่งเหล่านี้จะเป็นสองชุดค่าผสม

4. จำนวนผู้เยี่ยมชมเว็บไซต์ของคุณต่อวัน (โดยเฉลี่ย)
5. จำนวนผู้เข้าชมที่จะเข้าร่วมการทดสอบ

ดังนั้น นี่จึงเป็นอีกหนึ่งจุดเด่นของการทดสอบ a/b ที่ไม่เกี่ยวข้องกับการเติบโตของยอดขายอย่างก้าวกระโดด

เรามีมากกว่า 29,000 คนแล้ว
เปิดเครื่อง

ทำอย่างไร?

ตอนนี้ฉันจะบอกคุณว่าต้องทำทุกอย่างให้ถูกต้องอย่างไร ส่วนหัวของจดหมาย, ปุ่มเรียกร้องให้ดำเนินการ, ความพร้อมของราคาใน ทั้งหมดนี้สามารถทำได้ด้วยตนเองหรือใช้บริการพิเศษ

และทันทีโดยไม่ต้องประกาศความรักเป็นเวลานานห้ามมิให้ทำเช่นนี้ด้วยตนเองเพราะจะใช้เวลานาน

และหากคุณยังมีเวลาอีกมากการใช้ช่องทางใด ๆ จากบทความจะดีกว่าและมีประโยชน์มากขึ้น

การทดสอบ AB เป็นสิ่งที่มีประโยชน์ซึ่งควรเป็นค่าเริ่มต้นในโครงการอินเทอร์เน็ต ทำอย่างไรและสิ่งที่จำเป็นสำหรับสิ่งนี้?

ปัจจุบัน การทดสอบสมมติฐานและแนวคิดในการทดสอบเป็นโปรแกรมบังคับ การทดสอบ AB เหมาะสำหรับงานนี้ เรามาดูกันดีกว่าว่ามันคืออะไร มีประโยชน์อย่างไร และมีเครื่องมืออะไรบ้าง

การทดสอบ AB: มันคืออะไรและทำไม

การทดสอบ AB หรือการทดสอบแยกเป็นวิธีการวิจัยการตลาด โดยสาระสำคัญคือคุณต้องทำและเปรียบเทียบองค์ประกอบผลิตภัณฑ์หลายเวอร์ชันกับการเปลี่ยนแปลงเฉพาะเพียงครั้งเดียว แล้วดูว่าตัวเลือกใดทำงานได้ดีกว่า

ตัวอย่างเช่น เรามีแนวคิดที่จะเปลี่ยนสีของปุ่มบนหน้าเว็บบางหน้า เราคิดว่าการเปลี่ยนแปลงนี้จะทำให้เราได้รับการคลิกมากขึ้น เราเรียกใช้ทั้งสองตัวเลือก โดยแสดงตัวเลือก A ของผู้ใช้ครึ่งหนึ่ง และอีกครึ่งหนึ่งของตัวเลือก B

หลังจากผ่านไประยะหนึ่ง (กำหนดระยะเวลาก่อนเริ่มการทดสอบ) เราจะวัดผลลัพธ์ มาดูกันว่าตัวเลือกใดทำงานได้ดีกว่าและใช้ในงานของเรา วิธีนี้ทำให้คุณสามารถทดสอบสมมติฐานได้เกือบทุกอย่างและดูว่าอะไรได้ผลดีที่สุดและอะไรไม่ได้ผล

สิ่งที่สามารถวิเคราะห์ได้โดยใช้การทดสอบ AB?

• การแปลง จำนวนการดำเนินการตามเป้าหมายที่ประสบความสำเร็จบนเว็บไซต์ของคุณ นี่อาจเป็นการคลิกปุ่ม "ซื้อ" การเข้าชมหน้าเพจ หรืออย่างอื่น
• เศรษฐกิจ. ปริมาณการเรียกเก็บเงินหรือรายได้เฉลี่ย
• ปัจจัยด้านพฤติกรรม ความลึกในการดู ระยะเวลาเซสชัน

ความแตกต่างและรายละเอียดปลีกย่อย

• สิ่งสำคัญมากคือต้องเปลี่ยนเพียงปัจจัยเดียวเมื่อทำการทดสอบ หากนี่คือสีของปุ่มบนหน้า Landing Page เราจะทดสอบเฉพาะสีของปุ่มที่แตกต่างกันเท่านั้น และไม่เปลี่ยนแปลงสิ่งอื่นใดบนหน้านั้น
• เช่นเดียวกับปัจจัยภายนอก การทดสอบจะดำเนินการในเวลาเดียวกันภายใต้เงื่อนไขเดียวกัน มิฉะนั้นคุณอาจจบลงด้วยข้อมูลที่ลำเอียง

ขออภัยที่ขัดจังหวะการอ่าน เข้าร่วมช่องโทรเลขของฉัน การประกาศบทความใหม่ๆ การพัฒนาผลิตภัณฑ์ดิจิทัล และแนวทางการเติบโต ทั้งหมดนี้รวมอยู่ที่นี่แล้ว ฉันกำลังรอคุณอยู่! มาต่อกัน...

ข้อมูลสำคัญเกี่ยวกับข้อมูล

ทุกอย่างจะง่ายมากถ้าไม่ใช่เพราะ "แต่" เพียงคนเดียว คุณสามารถทำการทดสอบ AB และรับผลลัพธ์ที่แสดงให้เห็นอย่างชัดเจนว่าตัวเลือกใดตัวเลือกหนึ่งดีกว่าตัวเลือกอื่นมาก

ตัวอย่างเช่น เราแสดงหน้าเว็บ 2 เวอร์ชันที่มีสีปุ่มต่างกัน 1,000 ครั้งในแต่ละครั้ง การทดสอบดำเนินการเป็นเวลาหนึ่งสัปดาห์ และเราได้รับผลลัพธ์ดังต่อไปนี้:

ด้วยการแสดงผลแบนเนอร์เดียวกัน (ซึ่งเป็นสิ่งสำคัญ) จำนวนการคลิกสำหรับตัวเลือก B จะเพิ่มขึ้นสามเท่า เราสรุปได้ว่าตัวเลือกนี้มีประสิทธิภาพมากกว่าและนำไปไว้ในเวอร์ชันที่ใช้งานได้และลบอันเก่าออก

จะเป็นอย่างไรหากเป็นเช่นนั้น?

มันคุ้มค่าที่จะเลือกทางเลือก B หรือไม่? หรือนี่อาจเป็นเพียงข้อผิดพลาด? และแสดงแต่ละตัวเลือก 1,000 ครั้งเพื่อตัดสินใจได้หรือไม่? อาจมีผู้ใช้เยี่ยมชมเว็บไซต์ของเรา 10,000 รายต่อวันและกลุ่มตัวอย่างน้อยเกินกว่าจะสรุปได้ใช่หรือไม่ จะเป็นอย่างไรหากข้อมูลที่เราวิเคราะห์ไม่ใช่แค่จำนวนคลิก แต่เป็นรายรับโดยเฉลี่ยจากธุรกรรมล่ะ

สถิติช่วยเราได้

เพื่อทำความเข้าใจว่าโลกของตัวเลขและการทดลองทำงานอย่างไร เรามาดูส่วนทางคณิตศาสตร์กันสักหน่อย หากคุณไม่มีเวลาและพลังงาน ฉันแนะนำให้คุณข้ามส่วนนี้ไป ต่อไป ฉันจะให้วิธีแก้ปัญหาที่ง่ายกว่านี้

เป็นการล่อลวงครั้งใหญ่เมื่อเราได้รับผลการทดลอง เพื่อตัดสินใจ และนั่นก็คือ “อนาคตที่สดใส” แต่ถ้าคุณเจาะลึกลงไปอีกหน่อย ตลอดทั้งสัปดาห์ การกระจายคลิกในแต่ละวันก็จะไม่สม่ำเสมอ มาเขียนมันลงไปกันดีกว่า

ตารางแสดงให้เห็นว่าการคลิกมีการกระจายแตกต่างกันไปในแต่ละวัน ซึ่งหมายความว่าค่าของเราสำหรับตัวเลือก A และตัวเลือก B สามารถเปลี่ยนแปลงได้ทุกวัน นั่นคือเรากำลังเผชิญกับตัวแปรสุ่ม ในกรณีดังกล่าวจะใช้ค่าเฉลี่ย แต่ถ้าเราทำการทดลองอีกครั้ง ความน่าจะเป็นที่ผลลัพธ์จะเกิดขึ้นซ้ำเป็นเท่าใด?

เรามาพล็อตการกระจายข้อมูลทั้งหมดสำหรับสัปดาห์ตามตัวเลือก A และ B

หากเราหาค่าเฉลี่ยสำหรับแต่ละตัวเลือก (นี่คือแถบแนวตั้งที่อยู่ตรงกลางของคลื่นทั้งสอง) เราจะเห็นว่าความแตกต่างนั้นน้อยมาก แต่มีการเบี่ยงเบนบางอย่างจากค่าเฉลี่ยไม่มากก็น้อย ดังนั้นเราจึงได้จุดตัดของคลื่นสองลูก ยิ่งการทดลองมีขนาดใหญ่เท่าใด การทดลองก็จะยิ่งมีนัยสำคัญน้อยลงเท่านั้น ดังนั้น ยิ่งจุดตัดกันเล็กลง นัยสำคัญทางสถิติก็จะยิ่งสูงขึ้นตามไปด้วย

นัยสำคัญทางสถิติคือความเที่ยงตรงของผลลัพธ์ นั่นคือในตัวอย่างของเรา คำตอบของคำถาม "ฉันควรใช้ตัวเลือก B หรือไม่"

โดยทั่วไป ระดับนัยสำคัญเริ่มต้นคือ 95% ซึ่งหมายความว่ามีโอกาส 95% ที่เราต้องการทราบว่าเราควรเลือกตัวเลือกอื่น (B) เมื่อเปรียบเทียบหรือไม่ ส่วนที่เหลืออีก 5% คือความน่าจะเป็นของข้อผิดพลาดที่เราอนุญาต หรือค่า p ในศัพท์ทางสถิติ

ที่น่าสนใจคือหลายๆ คนลืมตรวจสอบระดับนัยสำคัญในการทดลอง และอาจได้รับข้อมูลที่ผิดพลาด การทดสอบ AB 8 ใน 10 รายการพลาดเครื่องหมายนี้ - )

ฉันจะไม่ลงรายละเอียดเกี่ยวกับวิธีการคำนวณตัวบ่งชี้นัยสำคัญ ฉันจะให้เครื่องมือที่จะคำนวณทุกอย่างให้กับคุณ

เครื่องมือในการคำนวณนัยสำคัญ

เพื่อประเมินความสำคัญของข้อมูล ฉันแนะนำให้ใช้เครื่องมือนี้

ที่นี่เรามี A และ B ตามลำดับ ซึ่งเป็นตัวเลือกของเรา และตามตัวเลข:

1. สามารถแทรกจำนวนผู้เยี่ยมชม/จำนวนการแสดงผลได้
2. จำนวนการแปลง คลิกปุ่มและลงทะเบียนแล้ว โดยทั่วไปแล้ว การดำเนินการตามเป้าหมายจะเสร็จสมบูรณ์
3. ค่า P ความน่าจะเป็นของข้อผิดพลาด ซึ่งเราละเว้นเมื่อให้ข้อมูล
4. คำตอบสำหรับคำถามคือการเปลี่ยนแปลงที่ได้รับในการทดสอบของเรามีนัยสำคัญหรือไม่

ตัวอย่าง: เรานำข้อมูลเกี่ยวกับการแสดงผลและการคลิกจากตารางที่เราแสดงด้านบน

เราป้อนพวกเขาลงในบริการคลิกที่ปุ่ม "คำนวณความสำคัญ" และ...

เราได้รับคำตอบว่า "ไม่" หรือ "ไม่" (ในภาษารัสเซีย) ในบรรทัดล่าง และเหนือค่า p คือ 0.283 สิ่งนี้หมายความว่าอย่างไร? และความจริงก็คือด้วยความน่าจะเป็น 28.3% (0.283*100) หากเราเลือกตัวเลือก “B” ก็จะไม่ให้ผลลัพธ์ที่มีนัยสำคัญใดๆ

เพื่อให้การทดสอบถือว่าประสบความสำเร็จ ค่า p-value ต้องน้อยกว่า 5%

มีบริการอื่นที่คุณป้อนข้อมูลและดูผลลัพธ์ได้ที่ลิงค์

นี่เป็นพื้นฐานสำหรับหลักการพื้นฐานของการวัดตัวแปรสุ่ม ทันทีที่คุณได้รับผลการทดสอบ AB ให้ลองใช้เครื่องมือดูว่าการปรับปรุงจากตัวเลือกอื่นมีนัยสำคัญเพียงพอที่จะใช้หรือไม่

จะเข้าใจได้อย่างไรว่าคุณต้องการข้อมูลจำนวนเท่าใด

มันเกิดขึ้นว่ามีข้อมูลไม่เพียงพอที่จะสรุปได้ เพื่อให้เข้าใจว่าคุณต้องแสดงหน้า A และ B กี่ครั้งแล้วรับข้อมูลตามจำนวนที่ต้องการ ให้ใช้สิ่งนี้เครื่องมือ .

ฉันขอย้ำอีกครั้งว่าสำคัญมากที่จะทำการทดสอบภายใต้เงื่อนไขเดียวกัน ตามหลักการแล้ว เราใช้เวลาหนึ่งสัปดาห์โดยไม่มีวันหยุดหรือสิ่งอื่นใด และมีตัวเลือกการทดสอบในเวลาเดียวกัน กลับมาใช้บริการกันเถอะ

ด้วยบริการนี้ คุณจะเข้าใจขนาดตัวอย่างสำหรับแต่ละตัวเลือก

รายละเอียดเพิ่มเติมเกี่ยวกับจุด:

1. อัตราการแปลงปัจจุบัน หรือตัวอย่างเช่น เปอร์เซ็นต์ของผู้ใช้ทั้งหมดที่กำลังคลิกปุ่มอยู่
2. การเปลี่ยนแปลงที่สำคัญขั้นต่ำที่เราสนใจ เราต้องการเปลี่ยนอัตรา Conversion พื้นฐานเท่าใด
3. ค่าเบี่ยงเบนสำคัญที่เราแนะนำในขั้นตอนก่อนหน้าแสดงให้เห็นว่าการแปลงสามารถเพิ่มหรือลดลงได้
4. คุณเลือกค่า: แบบสัมบูรณ์หรือแบบสัมพันธ์ เลือกมูลค่าที่คุณต้องการรับ หากอัตราคอนเวอร์ชั่นพื้นฐานของคุณคือ 30% (ดังตัวอย่างจากรูปภาพ) และคุณต้องการเพิ่มขึ้น 5% โดยใช้การทดสอบ ab ให้เลือก “แบบสัมพันธ์” นั่นคือผลลัพธ์สุดท้ายของการเปลี่ยนแปลงหากการทดสอบสำเร็จจะเป็น 5% ของ 30% นั่นคือ 31.5%
5. ขนาดตัวอย่างสำหรับแต่ละตัวเลือก เราควรแสดงหน้า A และหน้า B แยกกันกี่ครั้งเพื่อที่จะได้ข้อสรุปจากการทดสอบสำคัญมาก! เพื่อสรุปผลจากการทดลอง เราแสดง 24,409 เท่าของ A และ 24,409 เท่าของ B!
6. นัยสำคัญทางสถิติ เราต้องการดำเนินการทดสอบที่แม่นยำเพียงใด
7. ข้อผิดพลาดของค่า p ความน่าจะเป็นของข้อผิดพลาดที่อนุญาตคืออะไร?

เป็นไปได้ไหมที่จะหยุดการทดสอบก่อนหน้านี้?

สามารถ. มีตัวเลือกเมื่อเราไม่ต้องรอให้สิ้นสุดการทดสอบ แต่เมื่อถึงจุดหนึ่งเราก็สามารถสรุปผลได้แล้ว หากต้องการทำสิ่งนี้ ให้ใช้เครื่องมือที่รู้จักอยู่แล้วคือแท็บ "การสุ่มตัวอย่างตามลำดับ

ทีละขั้นตอน:

1. ป้อนอัตราการแปลงของคุณทันที ตัวอย่างเช่น 30% นั่นคือจำนวนคนที่มาที่เพจของเราจำนวน 100% คลิกปุ่มนี้
2. ป้อนจำนวนเงินที่คุณต้องการเพิ่มตัวบ่งชี้ที่ป้อนไว้ก่อนหน้านี้ ฉันตั้งค่าไว้ที่ 10% อายุ 30 ผมอยากเพิ่มเป็น 33
3. จำนวน Conversion ของการทดสอบรายการหนึ่ง หลังจากนั้นเราจะหยุดการทดสอบและทำการตัดสินใจ
4. ความแตกต่างในการแปลงระหว่างตัวเลือก A และ B หลังจากนั้นเราจะหยุดการทดสอบและทำการทดสอบที่ได้คะแนนมากกว่า
5. เรากำหนดระดับนัยสำคัญไว้ที่ 95% (ตามที่คาดไว้ ดูเนื้อหาด้านบน)
6. เราตั้งค่าข้อผิดพลาดของค่า p (โปรดดูเนื้อหาด้านบนอีกครั้ง)

ไม่มีเคล็ดลับที่นี่ มีเพียงสถิติเท่านั้น ใช้เครื่องมือนี้เมื่อการทดสอบต้องใช้ทรัพยากรจำนวนมาก (เวลาในการพัฒนา งบประมาณการโฆษณาเพื่อทดสอบสมมติฐาน ฯลฯ) ตอนนี้คุณมีกฎสองข้อที่คุณสามารถหยุดการทดสอบและสรุปผลได้

จะทำการทดสอบ AB ได้อย่างไร?

โซลูชั่นพร้อม:

• เพิ่มประสิทธิภาพ, vwo.com, zarget.com
• http://alternativeto.net/software/optimizely
• Google Analytics (ลิงก์เกี่ยวกับวิธีการทำ)

โซลูชันของตัวเอง:

• เรากำลังเขียนถึงผู้ดูแลระบบ
• เราเขียนและจัดทำการทดลองแต่ละครั้ง

ที่นี่ บริการประมาณ 10 รายการสำหรับการทดสอบ AB มีให้เลือกมากมาย

ทั้งหมด

ตอนนี้คุณมีความคิดทั่วไปแล้วว่าการทดสอบ AB คืออะไร มีความแตกต่างอะไรบ้าง และเครื่องมือใดที่จะใช้ในการดำเนินการ โดยสรุป ฉันอยากจะเสริมว่าการวิจัยเชิงสมมติฐานนี้มีประโยชน์มากที่สุดประการหนึ่งในการพัฒนาโครงการดิจิทัล ไม่ดีเหรอที่คุณสามารถทดสอบแนวคิดได้เกือบทุกชนิด สิ่งสำคัญคือถูกต้อง ตอนนี้คุณรู้วิธีแล้ว

รีวิวบริการสำหรับการทดสอบ A/B

เราลองใช้บริการที่ช่วยเปลี่ยนแปลงไซต์ให้ดีขึ้น

การทดสอบ A/B เป็นการทดลองเล็กๆ ที่ดำเนินการกับผู้ใช้ไซต์ สาระสำคัญของมันคือการทดสอบสมมติฐาน

หากคุณคิดว่าผู้ใช้ไซต์มีแนวโน้มที่จะคลิกรูปถ่ายของนางแบบในชุดบิกินี่มากกว่านักธุรกิจที่สวมแว่นตา การยืนยันหรือปฏิเสธก็เป็นเรื่องง่าย สร้างสองหน้า วางนักธุรกิจไว้หน้าหนึ่ง และวางโมเดลไว้ที่อีกหน้า และรอ และเวลาจะบอกเองว่าคุณถูกหรือผิด ผู้ชมของไซต์จะดำเนินการลงคะแนนให้กับตัวเลือกที่น่าสนใจสำหรับพวกเขามากกว่า ดังนั้น ด้วยการดำเนินการทดสอบ A/B และสังเกตพฤติกรรมของผู้ใช้ คุณสามารถค่อยๆ ปรับไซต์ให้เข้ากับรสนิยมและความปรารถนาของพวกเขาได้

เราเขียนเพิ่มเติมเกี่ยวกับการทดสอบ A/B ใน แต่มีบางอย่างหายไปจากเธอ เราบิดมัน หมุนมัน มองไปที่แสง และเราตระหนักได้ว่า - เราต้องการการตรวจสอบเครื่องมือทดสอบ! มาเริ่มกันเลย

การทดสอบ Google Analytics

Google Anatytics สามารถทำอะไรได้มากมาย เพียงแค่เงียบๆ เท่านั้น หากคุณเจาะลึกเข้าไปอีก คุณสามารถตั้งค่าการทดสอบ A/B (หรือตั้งโปรแกรมโทรศัพท์ Android ให้ทำลายตัวเองได้ ขึ้นอยู่กับโชคของคุณ) วิธีนี้จะสะดวกหากคุณใช้ Analytics อยู่แล้ว คุณสามารถเขียนโค้ดเล็กๆ น้อยๆ หรือมีนักพัฒนาที่คุ้นเคยซึ่งจะสร้างหน้าสำหรับการทดสอบ

ข้อดี:สะดวกสำหรับผู้ใช้ที่คุ้นเคยกับ Google Anatytics มีภาษารัสเซียด้วย และที่สำคัญคือบริการฟรี

จุดด้อย:ไม่มีโปรแกรมแก้ไขภาพ หากองค์ประกอบที่คุณต้องการทดสอบไม่สามารถเปลี่ยนแปลงได้ผ่านทางผู้ดูแลไซต์ และการตั้งโปรแกรมทักษะใหม่ด้วยตัวเองยังไม่เพียงพอ คุณจะต้องติดต่อนักพัฒนา

ราคา:ฟรี.

บริการนี้เรียบง่ายและชัดเจน ในแต่ละขั้นตอนจะมีคำแนะนำว่าต้องทำอะไรและทำไม ในโปรแกรมแก้ไขภาพ คุณสามารถเปลี่ยนข้อความ รูปภาพ และโครงสร้างของเว็บไซต์ได้ ทุกอย่างง่ายดาย: คุณเปลี่ยนไซต์ในตัวแก้ไข เพิ่มโค้ดลงในหน้าเดิม และดูผลลัพธ์ เพื่อรวบรวมสถิติ บริการจะทำงานร่วมกับ Yandex.Metrica

ข้อดี:มีโปรแกรมแก้ไขภาพที่เรียบง่าย รองรับภาษารัสเซีย -

จุดด้อย:โปรแกรมแก้ไขภาพ มากเกินไปเรียบง่าย ในทางที่ดี ใช้งานได้กับข้อความและรูปภาพเท่านั้น แต่คุณไม่สามารถเล่นกับโครงสร้างได้: RealROI แนะนำให้ซ่อนหรือลบองค์ประกอบ เปลี่ยน ย้าย เปลี่ยนรูปร่าง - ทั้งหมดนี้ไม่สามารถทำได้

และเรามีข้อสงสัยว่าฟังก์ชัน "ส่งโค้ดไปยังนักพัฒนา" ใช้งานไม่ได้ เราลองสามครั้งแล้ว แต่ก็ยังไม่มีจดหมาย ดังนั้น เราขอแนะนำให้ส่งโค้ดด้วยตัวเอง โดยใช้ Ctrl+C - Ctrl+V แบบเก่าที่ดี

ราคา:ฟรี.

เครื่องมือนี้มีคุณสมบัติเพิ่มเติมอยู่แล้ว โปรแกรมแก้ไขภาพช่วยให้คุณสร้างความบ้าคลั่งใด ๆ : องค์ประกอบสามารถเปลี่ยนแปลง, ย้าย, เพิ่ม, ลบได้ บริการนี้ช่วยให้คุณสามารถทำการทดสอบในวันที่กำหนดหรือหยุดการไหลของการเข้าชมหน้าเว็บชั่วคราว (อาจมีประโยชน์ในการทดสอบที่เกี่ยวข้องกับตัวเลือกมากกว่า 2 รายการ) คุณสามารถปรับแต่งการกำหนดเป้าหมายและส่วนบุคคลได้

ข้อดี:โปรแกรมแก้ไขภาพที่สะดวกสบาย - ไม่จำเป็นต้องใช้โปรแกรมเมอร์เพื่อสร้างหน้าสำหรับการทดสอบ บริการนี้ทำงานร่วมกับ Google Analytics, WordPress และการวิเคราะห์อื่นๆ และระบบ CRM

จุดด้อย:ดูเหมือนว่าจะมีภาษารัสเซีย แต่ยิ่งคุณเข้าไปในไซต์ลึกเท่าไร คำศัพท์ก็จะยิ่งซับซ้อนมากขึ้นเท่านั้น ก็ยิ่งมีน้อยลงเท่านั้น

ไม่มีรุ่นทดลอง คุณสามารถทดสอบโปรแกรมแก้ไขภาพได้ แต่คุณสามารถเรียนรู้เกี่ยวกับฟังก์ชันอื่นๆ ได้จากคำอธิบายเท่านั้น

ราคา:$39 ต่อเดือน หากคุณมีผู้ใช้ที่ทดสอบแล้ว 5,000 ราย อัตราภาษีที่สูงขึ้นคือ $ 140 ต่อเดือน ซึ่งช่วยให้คุณสามารถทดสอบไซต์กับผู้เยี่ยมชมที่ไม่ซ้ำกัน 40,000 ราย ผู้ใช้ที่ทดสอบ 200,000 รายต่อเดือนมีค่าใช้จ่าย 390 ดอลลาร์ หากคุณชำระเงินทั้งปีพร้อมกัน คุณจะได้รับส่วนลดภาษีทั้งหมด

บริการที่สามารถจัดเตรียม A/B สำหรับคอมพิวเตอร์และอุปกรณ์เคลื่อนที่ ในโปรแกรมแก้ไขภาพ VWO คุณสามารถทำเครื่องหมายเป้าหมายสำหรับการคลิกได้ทันที ส่วนที่เหลือสามารถเพิ่มได้ในขั้นตอนถัดไป

บริการนี้เสนอให้ดูแผนที่ความร้อน เพิ่มป๊อปอัป และส่งการโทรไปยังผู้ใช้ที่ซื้อของบางอย่างบนเว็บไซต์เพื่อเขียนรีวิว

VWO ยังมีแกลเลอรีไอเดียอีกด้วย ดูเหมือนสิ่งเล็ก ๆ แต่ก็ดี และมีประโยชน์: เจ้าของไซต์ไม่จำเป็นต้องคิดอะไรขึ้นมาเพื่อทดสอบด้วยตัวเอง เขาสามารถเลือกจากตัวเลือกที่จัดทำโดยผู้เชี่ยวชาญ แนวคิดสามารถกรองตามอุตสาหกรรม ความซับซ้อน และเวลาที่ใช้ เจ๋งมาก.

ข้อดี:ฟังก์ชั่นมากมาย คำแนะนำและคำแนะนำทุกที่ โปรแกรมแก้ไขภาพที่ชัดเจนทำให้โปรแกรมเมอร์วิตกกังวลนอกสนาม มีเวอร์ชันทดลองใช้งานเป็นเวลา 30 วัน VWO ทำงานร่วมกับ Google Analytics, WordPress และบริการอื่นๆ อีก 12 รายการ

จุดด้อย:ไม่มีภาษารัสเซีย ดังนั้นคำแนะนำอาจไม่ช่วย แต่ทำให้โกรธเคือง

ราคา:หากไซต์มีผู้เยี่ยมชมน้อยกว่า 10,000 คนต่อเดือน ค่าบริการจะอยู่ที่ 59 ดอลลาร์ต่อเดือน ผู้เยี่ยมชมมากถึง 30,000 คน - 155 ดอลลาร์, มากถึง 100,000 คนบนเว็บไซต์ - 299 ดอลลาร์และอื่น ๆ ตามธรรมเนียมจะมีส่วนลดเมื่อชำระเป็นรายปี

เสนอการทดสอบ A/B, หลายตัวแปรและแบบแยกส่วน, การปรับเปลี่ยนในแบบของคุณ เป้าหมายการคลิกสามารถทำเครื่องหมายได้ในโปรแกรมแก้ไขภาพ

มีฟังก์ชันน้อยกว่าคู่แข่งบางรายในการรีวิว แต่ Convert (โปรดระวัง นี่เป็นความเห็นส่วนตัว) มีโปรแกรมแก้ไขภาพที่สะดวกที่สุดในแง่ของการเลือกและการลากวัตถุ ในบริการอื่นๆ กรอบของวัตถุจะสั่น ราวกับว่าผู้ใช้โจมตีวัตถุด้วยขวานแทนที่จะใช้เมาส์สัมผัสอย่างระมัดระวัง

การจับเฟรม ปรับขนาดวัตถุ และเคลื่อนย้ายวัตถุในโปรแกรมแก้ไข A/B Delicious ไม่ใช่การทดสอบสำหรับคนใจไม่สู้ และใน Convert ทุกอย่างดำเนินไปอย่างราบรื่นและเป็นสุข สิ่งเดียวคือในการแก้ไขข้อความคุณจะต้องได้รับโค้ด CSS

ข้อดี:โปรแกรมแก้ไขภาพที่สะดวกสบาย บูรณาการกับการวิเคราะห์ 35 รายการและบริการ CRM ระยะเวลาทดลองใช้ฟรี - 15 วัน คุณสามารถปรับแต่งการทดสอบสำหรับอุปกรณ์มือถือได้

จุดด้อย:ไม่มีภาษารัสเซีย โปรแกรมแก้ไขภาพนั้นดี แต่คุณจะต้องเจาะลึกและคิดออก

ราคา:อัตราค่าบริการเล็กน้อย (ง่าย ใช่แล้ว) - $499 ต่อเดือนสำหรับผู้เยี่ยมชม 400,000 คน โดยไม่มีการสนับสนุนทางเทคนิค คุณต้องการให้พนักงานบริการช่วยคุณหรือไม่? จ่ายเพิ่ม $200. ยิ่งมีผู้เข้าชมมาก ราคาก็จะยิ่งสูงขึ้น หากคุณชำระค่าบริการล่วงหน้าหนึ่งปีคุณจะได้รับส่วนลด

Conversion ที่เพิ่มขึ้นอย่างรวดเร็วไม่ส่งผลกระทบต่อยอดขายหรือไม่? หรือบางทีมันอาจจะไม่มีอยู่จริง? หากคุณตัดสินใจโดยยึดผลการทดสอบที่ผิดพลาด คุณจะพลาดโอกาสในการเพิ่มประสิทธิภาพอย่างดีที่สุด และอย่างแย่ที่สุดก็คือคุณจะลด Conversion ลง

โชคดีที่มีวิธีป้องกันสิ่งนี้ การทดสอบ A/A คืออะไร และดำเนินการอย่างไร - อ่านบทความ

ผลบวกลวง

สมมติว่าคุณกำลังประเมินชุดปุ่มและชื่อเรื่อง เมื่อความน่าเชื่อถือถึง 99% ให้สรุปและนำไปใช้ในทางปฏิบัติ

หลังจากผ่านไปหลายรอบธุรกิจ คุณจะเห็นว่าการออกแบบที่ได้รับการปรับปรุงไม่ได้ให้ผลกำไรตามที่คาดหวัง แต่คุณได้ทำการทดสอบ ลงทุนเวลาและทรัพยากรไปกับมัน!

นี่เป็นผลลัพธ์เชิงบวกที่ผิดพลาด หรือที่เรียกว่า "ข้อผิดพลาดทางสถิติประเภท 1" และ "การปฏิเสธสมมติฐานว่างที่แท้จริงอย่างผิดพลาด" มันเกิดขึ้นบ่อยกว่าที่คุณคิด - ประมาณ 80% ของกรณี

ทำไมสิ่งนี้ถึงเกิดขึ้น?

เอฟเฟกต์เครื่องมือ

ในช่วงเริ่มต้นของการทดสอบ สิ่งสำคัญคือต้องแน่ใจว่าการกำหนดค่าเครื่องมือถูกต้องและทำงานได้ตามที่คาดหวัง มิฉะนั้น คุณมีความเสี่ยงที่จะได้รับ:

• ตัวบ่งชี้ที่ไม่ถูกต้อง- ข้อผิดพลาดเพียงครั้งเดียวอาจทำให้ข้อมูลการทดสอบ A/B ของคุณบิดเบือนได้ อย่างน้อยที่สุด ผสานรวมกับ Google Analytics เพื่อการตรวจสอบข้าม
• การแสดงหน้า Landing Page ไม่ถูกต้อง- ตรวจสอบให้แน่ใจว่าหน้า Landing Page ดูถูกต้องบนอุปกรณ์และเบราว์เซอร์ทั้งหมด และผู้เยี่ยมชมจะไม่พบเอฟเฟกต์การสั่นไหว
• ทำให้เกิดปัญหาเดียวกันยุติการทดสอบก่อนกำหนด

- บางครั้งซอฟต์แวร์จะประกาศ "ผู้ชนะ" เร็วเกินไป - เมื่อขนาดตัวอย่างหรือตัวแทนไม่เพียงพอ โปรดจำไว้ว่า เพียงเพราะคุณมีนัยสำคัญทางสถิติไม่ได้หมายความว่าถึงเวลาที่ต้องหยุดการทดสอบ ยิ่งนานเท่าไรผลลัพธ์ก็จะยิ่งแม่นยำมากขึ้นเท่านั้น

จงลืมตาไว้: สัญญาณใด ๆ เหล่านี้นำไปสู่ข้อสรุปที่ผิดพลาด ติดตามทุกเป้าหมายและตัวชี้วัด หากตัวบ่งชี้ใดๆ ไม่ลงทะเบียน (เช่น เพิ่มสินค้าลงในรถเข็น) ให้หยุดการทดสอบ แก้ไขปัญหา และเริ่มต้นใหม่อีกครั้ง

A/A กับ A/B

การทดสอบ A/B กระตุ้นการรับส่งข้อมูลไปยังเวอร์ชันควบคุมและรูปแบบต่างๆ และแสดงให้เห็นว่าเวอร์ชันใดทำงานได้ดีกว่า

A/A - สิ่งเดียวกัน เฉพาะสำหรับสองหน้าที่เหมือนกันเท่านั้น เป้าหมายคือการไม่เห็นความแตกต่างในประสิทธิภาพของพวกเขา การทดลองเพียง 20% เท่านั้นที่ให้ผลลัพธ์ที่เชื่อถือได้ นัยสำคัญทางสถิติและตัวอย่างที่เป็นตัวแทนจำนวนมากยังไม่เพียงพอ นั่นเป็นเหตุผลที่มืออาชีพใช้เทคนิคนี้ถึง

อย่างที่คุณเห็นประเภทเหล่านี้เสริมซึ่งกันและกัน

หากเมื่อสิ้นสุดการทดสอบ อัตราการแปลงของทั้งสองหน้าเท่ากัน คุณสามารถทำการทดสอบ A/B ได้ ในทางปฏิบัติ สิ่งต่างๆ ไม่ได้ราบรื่นเสมอไป

ตัวอย่างที่ 1 เพจสามารถเล่นได้มากกว่าโคลนของมันได้อย่างไร

นี่คือแลนดิ้งเพจที่ทีมงาน Copyhackers ทดสอบในเดือนพฤศจิกายน 2555:

หลังจากผ่านไป 6 วัน ระบบการทดสอบก็ทำเครื่องหมายตัวเลือก "ชนะ" ที่ระดับความเชื่อมั่น 95% เพื่อความแม่นยำ การทดลองจึงขยายออกไปอีกหนึ่งวัน และบรรลุความแม่นยำ 99.6%:

เพจมีประสิทธิภาพมากกว่าเพจเดียวกัน 24% หรือไม่? ผลลัพธ์ที่ได้คือผลบวกลวง หลังจากนั้นอีก 3 วันความแตกต่างก็หายไป:

สรุป: การทดสอบคำนวณผู้ชนะเร็วเกินไป

ตัวอย่างที่ 2. วิธีที่จะไม่ทำอะไรเลยและเพิ่ม Conversion 300%

สิ่งที่เราเห็น:

• 9% - เพิ่มอัตราการเปิดจดหมาย;
• จำนวนการคลิกลิงก์เพิ่มขึ้น 300%;
• อัตราการยกเลิกการเป็นสมาชิกจากรายชื่อผู้รับจดหมายลดลง 51%

และทุกอย่างจะเรียบร้อยดี แต่นี่คือการทดสอบ A/A! เนื้อหาที่แข่งขันกันนั้นเหมือนกันทุกประการ

มันคุ้มค่าที่จะทำการทดสอบ A/A หรือไม่?

ผู้เชี่ยวชาญชื่อดัง Neil Patel สังเกตเห็นการเปลี่ยนแปลงที่เพิ่มขึ้นอย่างมากโดยไม่ต้องเพิ่มรายได้ เขาแนะนำให้ทดสอบซอฟต์แวร์ก่อน เพื่อไม่ให้ต้องจัดการกับผลที่ตามมาจากการตัดสินใจที่ผิดในภายหลัง

Pip Lay ผู้ก่อตั้งเอเจนซี่ ConversionXL กล่าวว่าการทดสอบตัวเองเป็นการเสียเวลา

จะเชื่อใครดี? ในด้านหนึ่ง ความถูกต้องเป็นสิ่งสำคัญยิ่ง และวิธีการ A/A คือหนทางที่จะรับประกันได้ ในทางกลับกัน มีการสิ้นเปลืองทรัพยากรในการทดสอบตลอดจนการเตรียมตัวสำหรับการทดสอบ

Craig Sullivan ผู้เชี่ยวชาญด้านประสบการณ์ผู้ใช้เชื่อว่าการทดสอบ 40 ครั้งต่อเดือนถือเป็นภาระงานที่สูงสำหรับพนักงาน ใช้เวลาครึ่งวันกับ QA ดีกว่าใช้เวลาเพียง 2-4 สัปดาห์ในการทดสอบเครื่องมือ

ปัญหา #1- การทดสอบ A/A ใช้เวลาและปริมาณข้อมูลที่คุณสามารถใช้เพื่อศึกษาพฤติกรรมของผู้เยี่ยมชมไซต์

ปัญหา #2- ทั้ง A/B และ A/A จำเป็นต้องได้รับการจัดระเบียบและตรวจสอบอย่างระมัดระวังเพื่อหลีกเลี่ยงผลลัพธ์ที่ผิดพลาด ดังตัวอย่างจาก Copyhackers

ขึ้นอยู่กับคุณที่จะตัดสินใจว่าจะใช้เวลาหรือเสี่ยงต่อความน่าเชื่อถือของซอฟต์แวร์เมื่อทำการตัดสินใจ

มีตัวเลือกที่อาจมีราคาถูกกว่า - A/A/B

A/A/B กับ A/A

การทดสอบ A/A แบบดั้งเดิมไม่ได้บอกอะไรคุณเกี่ยวกับผู้เยี่ยมชมของคุณ แต่ถ้าคุณเพิ่มทางเลือกอื่นให้กับกระบวนการ มันก็เป็นอีกเรื่องหนึ่ง

A/A = 2 หน้าที่เหมือนกันแข่งขันกัน

A/A/B = การทดสอบ A/A + รูปแบบเพิ่มเติมหนึ่งรูปแบบ

คุณจะเข้าใจว่าเครื่องมือนี้คุ้มค่าที่จะไว้วางใจหรือไม่ หากใช่ ให้เลือกเวอร์ชันที่ดีที่สุดตามข้อบ่งชี้ ถ้าไม่เช่นนั้นก็ไม่ควรใช้

ใช่ ใช้เวลานานกว่าจึงจะมีนัยสำคัญทางสถิติ แต่คุณยังประเมินซอฟต์แวร์ด้วย และหากยืนยันความน่าเชื่อถือได้ ก็รวมถึงพฤติกรรมของผู้เยี่ยมชมด้วย

บทสรุป

ประโยชน์ของการทดสอบ A/A มีมากกว่าข้อเสียหรือไม่ ไม่มีคำตอบที่ชัดเจน ไม่จำเป็นต้องทำการทดสอบทุกเดือน เพียงพอ - เมื่อใช้ซอฟต์แวร์ใหม่ (บริการสำหรับดำเนินการทดสอบ) สำหรับผู้ที่มีเวลาน้อยจริงๆ มีตัวเลือกประนีประนอม - การทดสอบ A/A/B

หากคุณกำจัดข้อผิดพลาดในวันนี้ คุณจะได้รับผลลัพธ์ที่แม่นยำยิ่งขึ้นในอนาคต

การแปลงสูงสำหรับคุณ!