Для того, чтобы проверить, что вы, делая два раза одно и то же, получаете одно и то же.
т.е сравниваются 2 одинаковые группы в каком то определенном промежутке времени?
Обычно две группы в один момент времени. Но в разные тоже допустимо, если считается, что выборка не зависит от времени...
а если обнаружена стат значимость, о чем это говорит?
О том, что тесты у вас говно.. Доверять им нельзя.
это что? всмысле?
Что у вас есть различие в выборках или в условиях проведения эксперимента
Что в смысле? Берём весы. Взвешиваем ими один килограмм картошки. В первый раз они показывают 900 грамм, второй раз 8 тонн. Можно ли доверять таким весам?..
т.е а/а тесты нужны чтобы убедиться что во всех условиях трифик себя ведет равномерно?
Чтобы убедиться, что поведение контрольных групп не отличается друг от друга. Например, если в одном тесте у вас условно конверсия или любая другая метрика значительно больше, чем такой же показатель в другом, значит, эти группы или же интерфейсы, на которых тест проводится, различны между собой. В а/а предполагается, что и группы, и интерфейсы должны иметь одинаковые характеристики и свойства. На эту тему довольно много статей, советую почитать)
спасибо) и последний вопрос, что обычно делают когда получают стат значимость?
если все условия соблюдены (для теста)
Анализируют фичи контрольной группы и фичи интерфейсов, сравнивают. Нужно еще проверить, не участвуют ли пользователи из этих контрольных групп в других А/Б тестах, тк новые фичи из тестов могут аффектить их поведение. Если есть возможность, можно сравнить поведение пользователей по логам до взаимодействия с фичей, определить, где просадка
Обсуждают сегодня