А/Б тестирование сайта и рекламы — что это такое и как правильно делать?

Чтобы интернет-проект шел в ногу со временем, на нем периодически нужно что-то менять. Варьировать дизайн, добавлять новые элементы, формы обратной связи и многое другое. Но тут возникает масса вопросов. Как понять, что пришла пора обновления? Вдруг поменяешь то, что нравилось аудитории? Что именно стоит добавить? Можно действовать слепым методом, а можно провести а/б тестирование. Что это такое, для каких страниц и элементов дизайна оно эффективно, как правильно делать а/б тест, зачем он нужен, я расскажу прямо сейчас.

Обещаю:
Никаких заумных и сложных моментов не будет. Смысл и принцип работы альфа- и бета-тестинга поймет каждый. Сразу подчеркну, эта статья не для узких веб-специалистов. Она скорее для новичков, владельцев интернет-ресурсов или маркетологов широкого профиля, не имеющих опыта в данной сфере.

А/б тестирование: что это такое

Иначе этот прием называют сплит- или раздельным тестированием, потому что он позволяет посмотреть, как аудитория реагирует на каждый отдельно добавленный элемент. Цель такого исследования практична. Сравнивая две версии – старую и новую – можно по реакции пользователей понять, какая эффективнее (то есть дает больше целевых действий: продаж, кликов, заявок, дочитываний). В итоге оставляют ту вариацию, которая позволяет с большей отдачей работать с целевой аудиторией.

Как проходит а/б тест

Делают это так: берут нужную страницу, копируют, во втором варианте меняют один параметр (кнопку заказа, главный баннер, заголовок и др.). Далее 50% пользователей показывают первую версию, а 50% вторую, с изменениями. Эксперимент проводится в течение определенного (строго рассчитанного) времени. После того как данные собраны, их подвергают математическому анализу. По его результатам делают вывод, какой дизайн приносит больше нужной активности (переходов по ссылке, заполнение формы, подписок и т.д.).

Зачем нужен а/б тестинг, и как часто его проводят

Пользователи любого сайта быстро привыкают к типовым решениям. То, что работало год или два назад, может перестать быть эффективным. Особенно учитывая, что при оформлении ресурса все копируют друг у друга основные элементы и рабочие схемы. А/б тестинг позволяет сделать обновления не вслепую, а улучшив конверсию сайта (то есть соотношение числа покупок к количеству пользователей).

Касательно графика проведения экспериментов – здесь нет конкретных рекомендаций. Их проводят по мере возникновения той или иной гипотезы. Например, у вас появилась идея добавить значок часов с обратным отсчетом, чтобы установить срок действия скидок. Достаточным обоснованием для тестирования станет большое число отложенных по времени покупок (то есть клиент заходит несколько раз, а покупает через неделю или месяц). Не стоит ждать какое-то время, чтобы запустить новый а/б тест, даже если другие элементы тестировались совсем недавно. Можно запустить тестинг в любой момент, чтобы посмотреть, как повлияет на сроки принятия решения о покупке ограниченное время предложения.

Обратите внимание:
Многие компании, которые заточены под электронную коммерцию, постоянно находятся в процессе сплит-тестирования. Особенно часто специалисты рекомендуют прибегать к экспериментам, если ниша высоко конкурентная. Результат, как правило, не заставляет себя ждать! А учитывая, что ежегодно рынок Ecommerce растет на 30%, отказываться от возможности повысить свои позиции точно не стоит.

Что именно можно тестировать с помощью а/б теста?

Думаю, после всего сказанного, общий смысл такого инструмента, как а/б тестирование (что это такое, и для чего нужно), понятен. Но встает следующий вопрос: какие именно идеи можно оценить с его помощью?

Это может быть лендинг, отдельные элементы верстки e-mail-рассылок, объявления, а также отдельные страницы сайта. На них чаще тестируется следующие блоки.

• Формы захвата (призыв зарегистрироваться на сайте, подписка на новостную рассылку, получение скидки в обмен на свои контакты).
• Конверсионные кнопки (размер, расположение, цвет).
• Надписи (заголовки, шрифты текстов, название кнопок).
• Оформление карточек товара (фото, описание, название).
• Всплывающие окна (разрешение на отправку push-уведомлений на рабочий стол, индивидуальный промокод на первый заказ, подписка).
• Корзина (дизайн, иконка, размер, расположение значка).
• Оформление призывов к действию (купить, подписаться, заказать звонок).
• Цены.
• Объем текста на странице.
• Иллюстрации.
• Подача коммерческого предложения.
• Блок О себе/О компании.

Подсказка!
Подбирая элементы, нуждающиеся в тестирование, обратите внимание на поля формы обратной связи. Если среди них есть лишние, попробуйте удалить их. Многие подписчики отказываются от дальнейшего заполнения, если считают, что у них просят слишком большое количество личной информации, особенно паспортные данные, адреса, даты рождения.

Сразу оговорюсь: на практике чаще а/б тест используют для внедрения обновлений на «старых» сайтах. Но эта практика прекрасно работает и для новых интернет-ресурсов. Правда, при условии, что на портал приходит достаточный трафик посетителей. В противном случае (при низкой посещаемости) данные будут искажены.

Какие инструменты потребуются для а/б теста

Сплит-тестирование проводится с помощью специализированных сервисов. Большая часть из них платная, но можно найти и бесплатные варианты. Перечислю несколько ключевых инструментов (которыми рынок, конечно же, не ограничивается).

► Optimizely. Это наиболее популярный в мире проект, в котором маркетологи могут сверстать тестовую страницу в визуальном редакторе, не зная HTML-кодов. Базовый тариф (самый простой) предоставляется без заключения договора – можно просто внести денег на счет.

► Google «Оптимизация». Инструмент на рекламно-аналитической платформе Google Marketing Platform. Он бесплатный для малого бизнеса, в основном заточен под тестирование элементов страниц.

► Visual Website Optimizer. Недешевый платный сервис, у которого есть пробный тариф, чтобы бесплатно попробовать функционал. Его плюсы в удобном механизме настройки сплит-теста и учете даже незначительного объема трафика. Чтобы пользоваться им, необходимо знать HTML.

► LPGenerator и Unbounce. Это инструменты для создания лендингов, где заодно можно сделать их а/б-тест. Первый – русский ресурс, второй – англоязычный. Их главное ограничение в том, что протестировать можно только те одностраничники, которые сверстаны здесь же.

Какие показатели нужно замерять при а/б тесте?

Это ключевой момент, касающийся того, как правильно делать а/б тест. Идея о том, что именно нужно менять/улучшать, обычно приходит из двух направлений.

1. Из аналитики. Определяют слабые места сайта, а затем команда решает, за счет чего их усилить. Например, пользователи прокручивают страницу до конца, но не нажимают кнопку «Заказать расчет». Конверсионный показатель составляет 2%, при запланированном 4%. Один из вариантов ­решения ситуации – сделать кликабельный элемент не голубым, а более заметным красным.

2. Из бизнес-задач. Например, чтобы резко увеличить число транзакций на сайте по требованию инвестора.

Соответственно измеряют эффективность того, что хотят повысить. Чаще всего это конверсия (соотношение между тем, сколько человек пришло на сайт и сколько сделало покупку).

В ходе тестирования на обеих страницах замеряют одинаковые параметры. Например:

• посещаемость;
• количество сделанных заявок (звонок, запрос консультации, другие действия, которые говорят об интересе к продукту);
• конверсию;
• процент улучшения. Последний обычно рассчитывается автоматически в тех инструментах для альфа- и бета-тестов, которые были выбраны.

Обратите внимание:
Привязываться к одному показателю, пусть даже выбранному в качестве основного, не стоит. Это ошибка, которая может повести по ложному пути. Допустим, вас интересовал рост конверсии, и вы его добились. Но дальше стоит проанализировать средний чек или объем продаж, то есть привязку к экономическим показателям сайта – они могут не вырасти, а, наоборот, упасть. Смысла в конверсии как таковой уже не будет, так как эта цель промежуточная (конечная – доход).

Как правильно делать а/б тест

Существует несколько общих правил, соблюдение которых позволяет получить корректные данные.

1. Нежелательно одновременно тестировать несколько элементов, которые пересекаются между собой (к примеру, размер/цвет/расположение кнопки). Иначе будет трудно проанализировать, на что именно отреагировали пользователи.
2. Если есть несколько параметров, нуждающихся в тесте, придется расставить приоритеты и оценивать их по очереди.
3. Нужно смотреть, откуда идут потоки пользователей на обе страницы, и разводить их равномерно. Скажем, на обе по 30% посетителей из соцсетей, 50% из поисковиков и 20% из рекламных объявлений. Если структура будет неоднородной, корректность данных нарушится. Сделать настройку поможет Google Analytics.
4. Каждого пользователя важно отнести только к одному сегменту. Этого можно добиться, если внести метку сегмента в cookies в браузере.
5. Практикующие специалисты приводят данные о том, что необходимо провести контрольное тестирование через какое-то время после завершения первого эксперимента. 74%-процентную эффективность сплит-тестов (вместо 100%-ной) связывают, в том числе, с отказом от подтверждающего финального анализа.
6. Почти бесполезно ставить завышенные цели, допустим, повысить конверсию в 2 раза за месяц.
7. Необходимо правильно рассчитать достаточное число участников теста. Для этого исходят из желаемого результата и пользуются специальными калькуляторами. Например, сейчас у вас из 200 посетителей страницы 20 человек записываются на тренинг. Чтобы добиться показателя в 24 заявки, нужен рост на 20%. Задаем имеющуюся конверсию – 10% (20 из 200) и желаемый прирост 20%. Получается, что для достоверного тестирования, нам нужно показать обе страницы 7246 людям, по 3623 человека на каждую. Тестирование при трафике в 200 посетителей в сутки займет 36 дней.

Обратите внимание:
Чаще всего тестируют первые экраны, так как именно по ним человек решает, интересен ли ему ресурс.

Основные ошибки при проведении а/б тестов

– Не была четко сформулирована цель: что именно мы хотим получить, добавив изменения в структуру.

– Тест остановлен по принципу «когда захотелось, а не когда выполнены показатели по цифрам. Часто кажется, что одна из страниц явно лидирует, и уже нет смысла продолжать. Но на показатели влияет слишком много факторов, например, сезонность, промо-активности, особенности трафика. И если продолжать, данные могут измениться. 

– Брать слишком масштабный охват пользователей, если есть предположение, что изменения могут способствовать резкому оттоку публики. Если нововведение рискованное, начинают с небольшой выборки и аккуратно смотрят динамику.

– Не выдвигалась конкретная гипотеза.

Для справки!
Под гипотезой подразумевается некое предположение (но не прогноз). Например, гипотетичной будет следующая теория. «Если на главную страницу интернет-магазина добавить картинки-слайды с нарядами из ассортимента, посетители будут дольше задерживаться, рассматривая их».

Какие факторы могут исказить результаты а/б тестирования

Помимо уже описанных моментов, придется отслеживать факторы внутреннего влияния на процесс тестинга (то есть те, которые формируются внутри компании).

Так, на отработку заявок влияет качество работы колл-центра, менеджеров по продажам, сервисной службы, редакции, техподдержки, администрации сайта. Частично это можно понять по отчету, сформированному в Google Analytics.

А с помощью фильтров, которые настраиваются в этом же сервисе, реально отсечь из полученных данных все заходы на сайт со стороны сотрудников компании (маркетологов, SEO-специалистов и др.).

Другой щекотливый вопрос – как правильно делать а/б тест без искажений, если в этот момент проводятся рекламные компании? С одной стороны, это позволит завершить тестирование быстрее. С другой, может повлиять на статистическую значимость выборки. Избежать недостоверности поможет параллельное тестирование потоков в одно и то же время.

Как анализировать результат а/б теста

Собственник бизнеса может ограничиться данными автоматических калькуляторов. Например, на Hungrysites (русскоязычный) или KissMetrics (англоязычный). Они обобщенно показывают сравнительный анализ улучшения конверсии по двум типам страниц.

Для маркетологов таких данных недостаточно: чистая калькуляция приводит к риску ошибки. Если ваша работа состоит в том, чтобы делать качественную аналитику, придется потрудиться. Разности средних значений, как правило, недостаточно, чтобы получить достоверные данные. Чтобы убедиться в этом, достаточно сделать контрольный тест через какое-то время.

Профессиональные оптимизаторы пользуются сложной системой аналитики из 6 этапов. Каждый включает ряд специализированных формул и требует знаний. Для более простой оценки составляются наглядные графики. Они показывают среднее значение и частоту появления случайных величин вокруг него. Как правило, по ним тоже видно, что разности средних значений не хватает для того, чтобы считать результат достоверным. Приходится учитывать еще и площадь пересечения распределений.

Чем она меньше, тем более достоверен итог тестинга. Обычно считают, что можно полагаться на данные, если пересечений 1%, 5% или 10%.

Обратите внимание:
Существуют и другие методики, но они относятся к числу углубленных и узкопрофессиональных, новичкам они ничего не дадут.

Заключение и рекомендации

Цель нашей статьи – дать общее представление о процессе проведения тестов. Думаю, с этой задачей мы справились – теперь вы знаете полезный минимум про а/б тестирование: что это такое, для каких элементов ресурса оно используется, как правильно делать а/б тест. Такие эксперименты позволяют улучшить экономические показатели (частоту покупок) или поведенческие факторы (чем дольше человек находится на сайте, тем выше шанс, что поисковик расценит его как интересный пользователям и будет показывать в поисковой выдаче на верхних позициях).

При небольших финансовых затратах тестинг помогает увеличить число регистраций, повысить конверсию, а значит, быстрее отбить вложенные в сайт деньги. И если вы связаны с работой интернет-ресурсов, имеете собственный портал, даете объявления в сети или делаете e-mail-рассылки, стоит задуматься о применении этого инструмента для оптимизации собственных задач.