A/B-тест калькулятор достоверности онлайн
A/B-тест калькулятор помогает определить, есть ли статистически значимые различия между вариантами A и B.
Введите количество показов и конверсий — инструмент рассчитает p-value, уровень достоверности, доверительный интервал и подскажет, можно ли считать результат теста значимым.
Введите количество показов и конверсий — инструмент рассчитает p-value, уровень достоверности, доверительный интервал и подскажет, можно ли считать результат теста значимым.
Калькулятор достоверности A/B-тестирования
Введите данные по сегментам и рассчитайте статистическую достоверность, CPA, относительную конверсию и эффект теста.
| Сегмент | Размер (%) | Расходы | Конверсии | Клики |
|---|---|---|---|---|
| A | ||||
| B |
Результаты
CPA сегмента A: —
CPA сегмента B: —
Разница CPA (B к A): —
Конверсия A: —
Конверсия B: —
Относительный рост конверсии: —
Оценка достоверности (p-value): —
Рекомендация: —
Как пользоваться калькулятором
Как пользоваться калькулятором
В таблице выше укажите:
→ данные тестируемых сегментов.
Введите размер выборки в процентах, расходы в любой валюте, количество кликов и конверсий.
В строку A внесите данные базового сегмента, с которым хотите сравнить остальные варианты.
Следующие строки заполните данными других сегментов — их количество не ограничено.
Пустые поля заполняются автоматически.
Введите размер выборки в процентах, расходы в любой валюте, количество кликов и конверсий.
В строку A внесите данные базового сегмента, с которым хотите сравнить остальные варианты.
Следующие строки заполните данными других сегментов — их количество не ограничено.
Пустые поля заполняются автоматически.
→ целевой уровень значимости (p-value).
Этот параметр отражает степень вашей уверенности в результатах эксперимента.
Рекомендуемое значение — 80%.
Более высокий уровень (например, 99%) повышает надёжность выводов, но снижает число возможных улучшений.
Этот параметр отражает степень вашей уверенности в результатах эксперимента.
Рекомендуемое значение — 80%.
Более высокий уровень (например, 99%) повышает надёжность выводов, но снижает число возможных улучшений.
→ максимальный коэффициент жёсткости инвестиций.
Укажите, во сколько раз вы готовы увеличить рекламный бюджет, чтобы получить больше конверсий по сравнению с сегментом A.
Если вы готовы к дополнительным затратам, установите значение больше единицы.
Укажите, во сколько раз вы готовы увеличить рекламный бюджет, чтобы получить больше конверсий по сравнению с сегментом A.
Если вы готовы к дополнительным затратам, установите значение больше единицы.
Как читать результаты
Как читать результаты
Показатель «Да» — результаты данного сегмента лучше, чем у сегмента A.
Показатель «Нет» — результаты хуже базового сегмента.
Показатель «?» («Не определено») — различия статистически незначимы, и определить лучший вариант нельзя.
Показатель «Нет» — результаты хуже базового сегмента.
Показатель «?» («Не определено») — различия статистически незначимы, и определить лучший вариант нельзя.
Причиной может быть малый объём данных, слишком короткий период теста или низкий трафик.
Пример
Пример
Калькулятор выделил зелёным цветом результаты сегмента B.
Вывод: показатели сегмента B лучше данных сегмента A с вероятностью 86,04%.
Приходите на комплексный курс по продакт-менеджменту от Product Lab.