215 похожих чатов

13 ответов

8 просмотров

Для того, чтобы проверить, что вы, делая два раза одно и то же, получаете одно и то же.

Пользователь-62687 Автор вопроса
Дмитрий Лукьянов
Для того, чтобы проверить, что вы, делая два раза ...

т.е сравниваются 2 одинаковые группы в каком то определенном промежутке времени?

Пользователь 62687
т.е сравниваются 2 одинаковые группы в каком то оп...

Обычно две группы в один момент времени. Но в разные тоже допустимо, если считается, что выборка не зависит от времени...

Пользователь-62687 Автор вопроса
Дмитрий Лукьянов
Обычно две группы в один момент времени. Но в разн...

а если обнаружена стат значимость, о чем это говорит?

Пользователь 62687
а если обнаружена стат значимость, о чем это говор...

Что у вас есть различие в выборках или в условиях проведения эксперимента

Пользователь 62687
это что? всмысле?

Что в смысле? Берём весы. Взвешиваем ими один килограмм картошки. В первый раз они показывают 900 грамм, второй раз 8 тонн. Можно ли доверять таким весам?..

Пользователь-62687 Автор вопроса
Мariia Smirnova
Что у вас есть различие в выборках или в условиях ...

т.е а/а тесты нужны чтобы убедиться что во всех условиях трифик себя ведет равномерно?

Пользователь 62687
т.е а/а тесты нужны чтобы убедиться что во всех ус...

Чтобы убедиться, что поведение контрольных групп не отличается друг от друга. Например, если в одном тесте у вас условно конверсия или любая другая метрика значительно больше, чем такой же показатель в другом, значит, эти группы или же интерфейсы, на которых тест проводится, различны между собой. В а/а предполагается, что и группы, и интерфейсы должны иметь одинаковые характеристики и свойства. На эту тему довольно много статей, советую почитать)

Пользователь-62687 Автор вопроса
Мariia Smirnova
Чтобы убедиться, что поведение контрольных групп н...

спасибо) и последний вопрос, что обычно делают когда получают стат значимость?

Пользователь-62687 Автор вопроса
Пользователь 62687
спасибо) и последний вопрос, что обычно делают ко...

Анализируют фичи контрольной группы и фичи интерфейсов, сравнивают. Нужно еще проверить, не участвуют ли пользователи из этих контрольных групп в других А/Б тестах, тк новые фичи из тестов могут аффектить их поведение. Если есть возможность, можно сравнить поведение пользователей по логам до взаимодействия с фичей, определить, где просадка

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта