Как сделать АБ тест нескольких писем?

АБ-рассылка - специальный вид массовой рассылки, при котором можно протестировать несколько шаблонов писем. Шаблоны могут быть полностью отличными или же иметь различные элементы (например разный цвет кнопки), также может различаться только тема письма.

Как это работает: вы создаете массовую рассылку через специальную форму и выбираете не один шаблон, а несколько. Также вы выставляете процент от базы, на который будет в равных пропорциях отправлены все тестируемые шаблоны. Далее, либо вы самостоятельно, либо система автоматически выбирает самый эффективный шаблон. Оставшаяся база пользователей получает именно его.

Чтобы создать АБ-рассылку нужно перейти во вкладку "Рассылки" --> "АБ-рассылки" и нажать "Создать" в правом верхнем углу экрана. Откроется форма создания рассылки. Заполните в ней все необходимые поля и далее нажмите на кнопку "Сохранить".

ВНИМАНИЕ: После нажатия на кнопку "Сохранить" рассылка не запускается. Страница обновляется, рядом с кнопкой "Сохранить" появляется "Запустить". Для запуска рассылки необходимо нажать на нее. Если кнопка "Запустить" не появилась после создания рассылки, то стоит подождать 5-10 минут и вернуться в редактирование рассылки. Объемные базы юзеров могут проверяться системой продолжительное время.

Большая часть полей аналогична полям в массовой рассылки, подробно они описаны ТУТ, но есть и несколько уникальных полей, которые есть только в АБ-рассылках.

Подробнее об уникальных полях в форме:

Тест запланирован на (поле не обязательно к заполнению) - дата и время запуска тестовой части рассылки

Процент базы для тестирования - это процент от списка юзеров, который вы установите в поле "Источник", на котором будет проводится АБ-тест

Основная часть запланирована на (поле не обязательно к заполнению) - в случае, если это поле заполнено, система сама примет решение о победителе теста и начнет отправку выйгравшего шаблона на оставшуюся базу в это время. Если поле не заполнять, то менеджер должен будет выбрать победителя и запустить основную часть рассылки самостоятельно

Обратите внимание, что в форме создания АБ рассылки вы можете выбрать произвольное количество сообщений одного типа (в том числе одно или, например, пять). Все выбранные сообщения будут участвовать в АБ тесте.

Чуть-чуть про статистическую значимость в АБ тестах

Часто бывает, что результаты двух писем в АБ тесте близки и непонятно, является ли победитель реальным победителем или все это погрешность. Мы хотим упростить для вас понимание этого вопроса и для этого добавили в раздел "Статистика теста" показатель статистической значимости. Мы используем сложную формулу для расчета. Теперь достаточно зайти на эту страницу и удостоверится, что результат теста не является погрешностью (ну или является, что поделать)