Мы лично являемся давними апологетами A/B тестирования — как в рекламе, так и собственно в сайтостроительстве. Если сейчас уже крайне мало людей осталось, которые в принципе не понимают, зачем что-либо тестировать, то среди тестирующих мы видим как раз за разом совершаются весьма частые ошибки. Ниже поговорим про самые распространенные
Мало трафика
Если на ваш сайт зашли 10 человек, 5 из них увидели вариант А, 5 вариант Б, и из них 1 нажал на «заветную» кнопку в варианте А, то не нужно думать, что вариант А победил. Можно много рассуждать про такие понятия как «статистическая значимость», но мы не будем. Грубо говоря — сотни посетителей и десятки совершенных целевых действий (за которыми вы охотитесь) — вот что вам надо.
Неполная неделя
В разных тестируемых штуках мы видели колоссальную разницу по дням недели. Совершенно недавно, мы видели взлет CTR в 2 раза в одном рекламном объявлении в четверг. Почему именно в четверг — мы не знаем. Вероятно, у этого есть какие-то причины, до которых может быть можно, а может быть и нельзя докопаться. Заходили разные люди, с разным профилем пользования, а может быть просто те же люди ведут себя по-другому по четвергам. Черт его знает! Но нельзя верить результатам тестирования, не охватив полную неделю.
Игнорирование маленьких достижений
Когда разница между красной кнопкой или зеленой не очень большая (например — 1,2% против 1,3%), то часто подмывает проигнорировать результат эксперимента. В конце концов, что такое 0,1%, «зато красная лучше смотрится на нашем сайте». Конечно, все хотят найти что-то такое, что поднимет конверсию с 1,2% сразу до 5%. И некоторые даже верят в то, что это возможно за одно действие. Но скорее всего результат можно достигнуть последовательностью маленьких шажков. Кнопка другого цвета + другой текст на кнопке + фото с другой моделью + измененный текст + текст короче итд итд итд. Везде по 0,1%, так и наберется.
Прокомментировать первым