К тесту нужно правильно подготовиться, настроив систему аналитики. Также обязательно заранее разобрать алгоритм, как проводить А/Б-тестирование для достижения желаемых метрик. Создается https://deveducation.com/ вторая версия лендинга, где кнопки будут круглыми. На нее направляется часть визитов с контекстной рекламы — люди получают шанс оценить обновленную версию и поработать с ней.
Кросс-ревью стоит проводить при подготовке крупных и важных экспериментов. Они проверят, как сформулирована гипотеза, учтены ли все метрики, на которые может повлиять эксперимент, и насколько верны решения, которые планируется принимать по результатам. Рассчитать, насколько оправдано проводить A/B-тест для продукта, помогут специальные калькуляторы. Определить размер выборки можно калькулятором Эвана Миллера, а длительность теста — калькулятором VWO.
Как проводить А/В-тестирование в 2019 году
A/B-тестирование, или сплит-тестирование, — это метод исследования, при котором сравнивают эффективность двух вариантов какого-то объекта, например страницы сайта. Эти варианты показывают аудитории и оценивают, на какой из них люди реагируют лучше. Многовариантное тестирование начинается с выдвижения гипотезы об изменениях в контенте, которые могут улучшить показатели конверсии. При многовариантном тестировании изменения контента можно разбить на множество отдельных элементов, чтобы определить комбинации, обеспечивающие максимальную конверсию. Будь то незначительные изменения или значительные изменения в пользовательском опыте, любые из них могут повлиять на общие результаты. Также стоит учитывать, что статистическая значимость не всегда равна практической значимости.
Поэтому эта программа подходит только для А/Б тестирования. Но у нее настолько простой и понятный интерфейс, что самым сложным будет добавить код в шапку сайта. Визуально он похож на графический редактор, в котором можно изменить любой элемент — цвет, текст, размер, расположение. Также в анализе можно запросить отчет о достоверности результатов из Google Optimize. Этот показатель доступен уже во время исследования, но если в процессе сервис показывает более низкие значения, прерывать эксперимент не стоит. Программа помогает рассчитать, сколько пользователей нужно для участия в эксперименте.
Как запустить A/B-тестирование сайта в сервисе Varioqub
Поэтому опытные аналитики проводят тестирование на 5-10% аудитории. Если есть достаточно времени, то вместо теста можно запустить продукт на один город, район или другую выделенную часть пользователей. что такое ab тестирование Гипотез может быть так много, что проверить их одним тестом не получится. Поэтому рекомендуем прочитать нашу статью о том, как приоритизировать гипотезы продуктового исследования.
И все они запускаются уникально для каждого билд-варианта. Платные сервисы A/B-тестирования предлагают ряд преимуществ. Они позволяют проводить split-тестирования с минимальными усилиями, благодаря визуальному редактору. Вы можете избежать необходимости ручного копирования кода и работы с HTML/CSS – достаточно просто создать копию, переместить блоки или изменить их дизайн всего за 3-5 минут.
Как улучшить результаты A/B-тестирования
В каждом A/B тесте участвует два варианта, где в каждом последующем участвует выигрывавший вариант + один дополнительный. Затем вам нужно определить метрику, на которую вы будете смотреть, чтобы понять, является ли новая версия сайта более успешной, чем изначальная. Обычно в качестве такой метрики берут коэффициент конверсии, но можно выбрать и промежуточную метрику вроде показателя кликабельности (CTR).
- Такое может случится, если показать пользователям неудобный интерфейс или непонятные тарифы.
- Это, в свою очередь, поможет собрать информацию для следующих тестов.
- Когда, к примеру, тестируется посадочная страница с услугами стартапа или запускается новый продукт, еще нет большого трафика.
- Чем ее величина в сегментах больше, тем меньше разброс среднесуточных значений показателя.
Рассчитать выборку можно вручную или с помощью специальных сервисов, например Driverback или Optimizely. В контексте арбитража трафика, эта цель может быть связана с максимизацией конверсии, т.е., перевода посетителей в клиентов или подписчиков. Вы узнали о том, как провести А/Б-тестирование, корректно оценить результаты и избежать типичных ошибок. Мы рассмотрели алгоритм проведения теста на примере страниц сайта. Однако аналогичный подход с небольшими изменениями можно распространить и на другие виды исследования. Например, на выбор рекламного объявления или функционала мобильного приложения.
Размер выборки
Результаты A/B-теста показывают, какое решение даст большую конверсию в нужное целевое действие. Например, в каком случае больше пользователей перейдет по ссылке, зарегистрируется на сайте или в приложении, подпишется на рассылку, заполнит форму обратной связи. Есть и более сложные тесты, которые направлены на исследование долгосрочных метрик, таких как средний чек или влияние изменений в продукте на прибыль. Также можно начать с вопроса «почему моя посадочная страница не приносит продаж? » Трафика много, а по СТА-кнопке нет кликов и конверсия сайта остается низкой? В этом случае внесение изменений поможет вам собрать больше данных о пользовательском опыте посетителей вашего сайта (user experience).
Сервис «Оптимизация» позволяет проверять эффективность пяти вариантов страницы за один тест. Используя его, можно проводить A/B/n-тестирование, то есть проверять сразу несколько гипотез вместо двух. Размер выборки для А/Б-теста имеет значение, и ее величина определяется индивидуально.
Что делать, если нужно проверить больше двух вариантов? Например, протестировать четыре формы заявки
Как я уже говорил, даже самые незначительные изменения могут весьма значительно сказаться на конверсии. В то время как заглавное фото на лендинге и то, что на нем изображено может оказать значительный эффект на уровень конверсии. По окончании А/В-тестирования вы либо получаете нового фаворита, либо делаете вывод, что действующий фаворит не сдал позиций. Затем вы создаете новые вариации, чтобы снова проверить ими своего фаворита. Ваш фаворит – это маркетинговый актив (веб-страница, email, рекламное объявление на Facebook и пр.), который уже показал хорошие результаты или же вы ожидаете от него таковых.
Желательно выбирать только один показатель для оценки. Если же взять несколько показателей, то они должны быть тесно связаны друг с другом. А когда речь идет о повышении конверсии сайта от 0,5 процентов, то любые колебания плюс-минус 0,1% уже много решают.