A/Б-тестирование сайтов: как это работает

Аналитика, гипотеза, проверка

Мы уже говорили о популярности мобильных сайтов, важности их непрерывной оптимизации и о том, как убедить руководство внедрить Подход mobile first. Как пошагово тестировать UX сайтов — в новом материале на основе вебинара старшего аналитика «Google Россия» Станислава Видяева.

Научитесь формулировать гипотезы

Главное в проведении тестирования — правильно построить гипотезу. Для этого нужно обратиться к данным и определить проблему сервиса — не стоит ориентироваться на субъективные ощущения. Данные бывают количественные и качественные. Первые можно брать из Google Analytics, CRM-системы и результатов прошлых тестов, а вторые — из опросов пользователей, экспертных статей с кейсами и исследований. 

На рынке много систем, которые отслеживают поведение пользователей, — и платных, и бесплатных. В Google Analytics можно увидеть конверсию любой страницы и понять, какие страницы срабатывают хуже. Отчет «Карта поведения» показывает, как именно пользователи перемещаются по сайту — на что чаще кликают, откуда приходит основной трафик. «Вебвизор» в «Яндекс.Метрике» дает тепловую карту кликов, карту ссылок и отслеживание движения мышей, информацию о прокрутке страниц, нажатиях на клавиатуру и заполнение форм.

Пример хорошей работы с гипотезами

Сайт Booking.com — пример того, как грамотно искать гипотезы. Каждый сотрудник компании может выдвинуть даже самое очевидное предположение на основе существующих данных. Несколько лет назад в компании предположили, что если просто передвинуть вправо кнопку «Искать» на странице с поиском отелей, пользователь будет чаще кликать по ней. Казалось бы — какая разница, если человек хочет найти место для отдыха? Но гипотеза сработала — пользователи стали кликать по кнопке чаще. Команда всегда проводит такие небольшие эксперименты, чтобы понять, верны ли предположения. В Booking.com одновременно может происходить до 1000 A/B-тестирований — ни один элемент сайта не меняется без изучения аналитики и проверки гипотез.

Выберите подходящий метод и инструмент

Тестирования бывают разные, но их принципы похожи:

  • A/B-тестирование — сравнение оригинальных элементов одной страницы с другими полноценными вариантами дизайна.
  • Многовариантное тестирование (MVT) — сравнение оригинала с множеством комбинаций дизайна одной страницы.

Для обоих методов подходит продукт Google Optimize — он специально разработан для оптимизации сайтов. Стандартная версия поможет точечно тестировать каждую страницу, расширенный пакет 360 откроет больше возможностей для оптимизации, аналитики и сегментирования аудитории. Например, в многовариантном тестировании можно загрузить до 36 комбинаций эксперимента, а в стандартной версии — 16.

Инструмент позволяет тестировать разные варианты сайтов и видеть, выполняют ли они KPIs. Например, ваша цель — мотивировать посетителей зарегистрироваться на сайте. Вместо того, чтобы полагаться на догадки, вы можете провести эксперимент — изменить текст призыва к действию (CTA) или цвет кнопки  и посмотреть, что изменилось в поведении аудитории.

Проведите тест, проанализируйте и повторите

Для теста вам понадобится всего три решения:

  • Аккаунт Google Analytics.
  • Трекер Universal Analytics, установленный на сайт.
  • Расширение Google Optimize в Chrome. 

В код сайта нужно установить Google Optimize, а потом и Tag Manager со всеми необходимыми счетчиками. Рекомендуется использовать page-hiding snippet, который при А/Б-тестировании замедляет загрузку основного контента и прячет оригинал — так вы избавитесь от мерцания. Также стоит добавить Core dataLayer для проведения тестов на основе конкретных сегментов.

После тестирования Google Optimize покажет скриншоты со статистикой и результаты,  разбитые по двум методам:

  • Байесовский статистический метод.
  • Проверка нескольких гипотез в одном тесте.

Отличие — в количестве гипотез и достаточности данных. Байесовский подход определяет повторы шаблонных действий и показывает, с какой вероятностью В лучше А. Вероятность увеличивается с каждой новой конверсией. Чтобы получить точный результат, важно накопить статистически значимое количество данных.

Второй метод проверяет до трех гипотез в одном эксперименте. Одна из них может быть без достаточного количества данных, тогда две другие пройдут статистически значимый тест, и наоборот.

Больше советов по тестированию сайтов и его влиянии на результаты поиска Google можно найти здесь.

Подробный разбор с примерами и скриншотами смотрите в записи вебинара.

Как внедрить в компании культуру mobile first