А подскажите, пожалуйста, в рамках АБ-тестирования по проекту у нас

Question

А подскажите, пожалуйста, в рамках АБ-тестирования по проекту у нас

два варианта: текущий и экспериментальный.
Какой правильный дизайн, если мы хотим проверить экспериментальный вариант на 5% пользователей? Метрику по ним потом сравнивать с 95% контрольных польз. или надо делать так: 90% на текущем (и по ним не смотрим метрику), и 5% на текущем (и здесь смотрим метрику), и 5 на эксперименте (тоже смотрим метрику)?

#programming #python #russian

0

06.09.2023

13 ответов

52 просмотра

M A Автор вопроса

Ілія Малекі
А ваши 5% пользователей - это сколько пользователе...

Речь идёт о DAU в ~100 тыс.

0

06.09.2023

Philipp Upravitelev

смотря какие метрики если гросс смотрите, то конечно 95% будут у вас в выигрыше

0

06.09.2023

Pavel Zheltouhov

С математический точки зрения, нет проблем использовать две группы 95% и 5 %. Разделили как смогли. Что происходит в головах у "продуктовых людей" - загадка.

0

06.09.2023

M A Автор вопроса

Philipp Upravitelev
смотря какие метрики если гросс смотрите, то конеч...

Будем смотреть относительные, конверсию в конкретный тип события.

0

06.09.2023

M A Автор вопроса

Понял) Просто интересно, с точки зрения, статистических закономерностей, есть ли какое-то эмпирическое правило, что лучше сравнивать группы одинакового размера?

0

06.09.2023

Philipp Upravitelev

M A
Понял) Просто интересно, с точки зрения, статистич...

нет такого правила есть требование к размеру выборки точнее, выборка должна быть достаточно большой, чтобы ошибка пропуска эффекта была в приемлемых границах но это вам надо читать power analysis и связанные темы

0

06.09.2023

Bogdan Pilyavets

M A
Понял) Просто интересно, с точки зрения, статистич...

На практике с таким сплитом (даже игнорируя чисто технические проблемы протухания тестовых кук) и при использовании классического t-теста могут возникать проблемы, особенно на скошенных распределениях, от которых t-test страдает. Вот тут в 7 главе можно прочитать подробнее А на русском про неровные сплиты можно вот тут глянуть

0

06.09.2023

M A Автор вопроса

Bogdan Pilyavets
На практике с таким сплитом (даже игнорируя чисто ...

Спасибо! Обе статьи тоже изучу 👍

0

06.09.2023

Dmitry 🥌 K

Если мы сами делим на 2 группы, то группы равного размера правильно делать потому что точность сравнения ограничивается размером меньшей группы

0

06.09.2023

M A Автор вопроса

Dmitry 🥌 K
Если мы сами делим на 2 группы, то группы равного ...

Мы будем использовать Вариокуб из АппМетрики для мобильного приложения, там оно само рандомизирует по контролю и эксперименту. Но можно задать заранее проценты от числа пользователей.

0

06.09.2023

Dmitry 🥌 K

M A
Мы будем использовать Вариокуб из АппМетрики для м...

введите "калькулятор АБ-тест" в поисковике и потыцкайте немного =)

0

06.09.2023

M A Автор вопроса

Dmitry 🥌 K
введите "калькулятор АБ-тест" в поисковике и потыц...

Да, с калькулятором от Evan Miller поигрался уже немного)

0

06.09.2023