215 похожих чатов

13 ответов

5 просмотров

Для того, чтобы проверить, что вы, делая два раза одно и то же, получаете одно и то же.

Пользователь-62687 Автор вопроса
Дмитрий Лукьянов
Для того, чтобы проверить, что вы, делая два раза ...

т.е сравниваются 2 одинаковые группы в каком то определенном промежутке времени?

Пользователь 62687
т.е сравниваются 2 одинаковые группы в каком то оп...

Обычно две группы в один момент времени. Но в разные тоже допустимо, если считается, что выборка не зависит от времени...

Пользователь-62687 Автор вопроса
Дмитрий Лукьянов
Обычно две группы в один момент времени. Но в разн...

а если обнаружена стат значимость, о чем это говорит?

Пользователь 62687
а если обнаружена стат значимость, о чем это говор...

Что у вас есть различие в выборках или в условиях проведения эксперимента

Пользователь 62687
это что? всмысле?

Что в смысле? Берём весы. Взвешиваем ими один килограмм картошки. В первый раз они показывают 900 грамм, второй раз 8 тонн. Можно ли доверять таким весам?..

Пользователь-62687 Автор вопроса
Мariia Smirnova
Что у вас есть различие в выборках или в условиях ...

т.е а/а тесты нужны чтобы убедиться что во всех условиях трифик себя ведет равномерно?

Пользователь 62687
т.е а/а тесты нужны чтобы убедиться что во всех ус...

Чтобы убедиться, что поведение контрольных групп не отличается друг от друга. Например, если в одном тесте у вас условно конверсия или любая другая метрика значительно больше, чем такой же показатель в другом, значит, эти группы или же интерфейсы, на которых тест проводится, различны между собой. В а/а предполагается, что и группы, и интерфейсы должны иметь одинаковые характеристики и свойства. На эту тему довольно много статей, советую почитать)

Пользователь-62687 Автор вопроса
Мariia Smirnova
Чтобы убедиться, что поведение контрольных групп н...

спасибо) и последний вопрос, что обычно делают когда получают стат значимость?

Пользователь-62687 Автор вопроса
Пользователь 62687
спасибо) и последний вопрос, что обычно делают ко...

Анализируют фичи контрольной группы и фичи интерфейсов, сравнивают. Нужно еще проверить, не участвуют ли пользователи из этих контрольных групп в других А/Б тестах, тк новые фичи из тестов могут аффектить их поведение. Если есть возможность, можно сравнить поведение пользователей по логам до взаимодействия с фичей, определить, где просадка

Похожие вопросы

Обсуждают сегодня

А чем вам питонисты не угодили?😂
.
79
Язык Си можно выучить за день? По книжке ANSI C на 230 страниц
Vincent Vegan
29
Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
75
Есть какой-нибудь для Delphi/FPC T*Compression(Decompression)Stream на базе LZ4/Zstd/любой другой быстрый(и хорошо сжимающий) алгоритм А ещё лучше в pure pascal А ещё лучше од...
notme
31
Dim Dim, [02.07.2024 11:07] DB 0x62 Dim Dim, [02.07.2024 11:07] DB 0x66 Dim Dim, [02.07.2024 11:07] кто пояснит что это?
Dim Dim
14
Ошибка: segmentation fault (core dumped) Код: pastebin.com/BEsNNSSV Сообщение от компилятора: отсутствует ОС: Arch Linux Ядро: x86_64 Linux 6.9.7-arch1-1 Процессор: Intel Cele...
sec
4
Ещё такой вопрос. Мне необходимо хранить пароль пользователя локально. Для этого планирую использовать ini файл. Это для автозаполнения полей логин и пароль при авторизации. Е...
Евгений
19
Ребят, а за скок можно впарить анон чат с апишкой и веб админкой ?
Eugene Неелов
15
Кстати, я тут еще с одной темой столкнулся, вот учу я C++, на таком то ресурсе, а остальные постоянно советуют практиковаться, что то писать, проекты, но как писать если вот т...
aaswq1
7
А как лучше конвертировать физический адрес в виртуальный при маппинге? В случае ядра у меня, например, direct mapping, первые 768МБ я как есть мапплю в higher half, а остальн...
Evg Resh
26
Карта сайта