Привет, есть эксперты по mixed effect models? У меня тут

Question

(sci)Berloga Bioinformatics, Biology, etc. Club

Привет, есть эксперты по mixed effect models? У меня тут

кажется христоматийный сюжет для их применения, но я не уверен (потому что не применял их ни разу в жизни):
1. Есть 20 экспертов, каждый разметил по 20 исследований, у каждого какие-то случайные 10 исследований с постобработкой
2. Всего 200 исследований, так что каждое было размечено 1 раз с постобработкой и 1 раз без

Хочется понять величину эффекта (наличия) постобработки на время разметки. При этом эксперты отличаются по своей скорости, условно один свою пачку исследований размечал 1 час, а другой свою пачку - 2 часа. Исследования тоже могут отличаться по сложности.

0

30.10.2023

15 ответов

39 просмотров

Arteys Minin

Это задачка или реальное исследование?

0

30.10.2023

A Автор вопроса

Andrey
числа не бьются, 20х20=400, а дальше про всего 200...

200 уникальных исследований, каждое размечено 2 раза, 1 раз с постобработкой, 1 раз без, всего 400

0

30.10.2023

A Автор вопроса

Arteys Minin
Это задачка или реальное исследование?

реальное

0

30.10.2023

Ael Deyr

Можно посмотреть в сторону согласование оценок аннотаторов/моделирования их надёжности, например начав с 24 страницы лекции Воронцова http://www.machinelearning.ru/wiki/images/6/6b/Voron-ML-AL-slides.pdf Т.е. можно оценить сначала каждого эксперта, а потом насколько это отличие больше отличия процессинга. Как самый простой вариант, наверное, можно простой тест статистический сделать, вроде wilcoxon задав сначала в виде групп экспертов, а потом эксперт на процессинге-эксперт без процессинга и процессинг против не процессинга. И сделать это в формате k-fold

0

30.10.2023

Andrey

Ael Deyr
Можно посмотреть в сторону согласование оценок анн...

по условию нету повторных измерений

0

30.10.2023

Ael Deyr

Andrey
по условию нету повторных измерений

Мы как раз и исходим из того что сами эксперты и записи условно-равны, а основная разница в разметке, и есть несколько типов разметки: по экспертам и по процессингу

0

30.10.2023

A Автор вопроса

Andrey
по условию нету повторных измерений

Да, к сожалению в силу специфики повторные измерения не имеют смысла, по крайней мере на доступном временном горизонте. Мы тестировали 1 месяц и получалось что эксперты довольно неплохо помнят. Будем повторять еще через 1 месяц, но пока так.

0

30.10.2023

A Автор вопроса

Ael Deyr
Мы как раз и исходим из того что сами эксперты и з...

не, эксперты точно разные, и записи точно разные, скорости экспертов могут отличаться в 2-4 раза, по отдельным записям дисперсия тоже приличная

0

30.10.2023

Ael Deyr

Это можно вносить в нормировку, оценив "сложность" работы и "качество" эксперта . Мы же можем предположить что как минимум в среднем тот пул работ что был выдан каждому эксперту содержал работы и сложные и простые, взятые из одного распределения?

0

30.10.2023

A Автор вопроса

Ael Deyr
Это можно вносить в нормировку, оценив "сложность"...

да, в некотором приближении оценить можно, пакеты данных у каждого эксперта рандомизировались, но стратифицировались по сложности (по-крайней мере по эвристике оценивающей сложность), + можно посчитать точность разметки каждого эксперта

0

30.10.2023

Ael Deyr

A
да, в некотором приближении оценить можно, пакеты ...

oftop: если речь про медицинские снимки и их описание, что-то рядом с Морозовым, то лучше не надо сами, у вас там очередь из желающих помочь :) Те эффекты что вы описываете это самая вершина. Там всё нужно учитывать, от того что именно описывается, до времени и дня недели описания

0

30.10.2023

A Автор вопроса

Ael Deyr
oftop: если речь про медицинские снимки и их описа...

я не очень понял про "очередь из желающих помочь" и почему "лучше не надо самим"

0

30.10.2023

Ael Deyr

A
я не очень понял про "очередь из желающих помочь" ...

Это оффтоп был, сорри, если речь именно про конкретную работу и конкретный датасет имени конкретного человека :) У вас много данных, очень хороших данных с которыми можно делать много классных вещей. В любом вузе у вас его с руками оторвут и студентов дадут, и экспертизой поделятся, только приходите!

0

30.10.2023

A Автор вопроса

Ael Deyr
Это оффтоп был, сорри, если речь именно про конкре...

"Я и есть клоун Пальяччи"

0

30.10.2023

Andrey · Accepted Answer

Andrey

числа не бьются, 20х20=400, а дальше про всего 200 исследований

0

30.10.2023

Похожие чаты

Привет, есть эксперты по mixed effect models? У меня тут

15 ответов

Похожие вопросы