Доброго вечера. Такая проблема. Есть некая переменная (не временная серия)

и десятка полтора результатов моделирования этой переменной. При этом сами модели - черный ящик, посчитано на стороне. Нужно выбрать лучшую, доказать что она лучшая и показать разницу.
Руками то посчитал и Пирсона и R2, остатки проверил ну и вроде всё что нужно.
Но при этом заинтересовал вопрос есть ли какой-нибудь пакет, который всё это делает. По факту это конечно base, мало что за его пределами, но в одном месте может собрано? Повторю, самих моделей нет, только результаты и исходные данные.

Машинное обучение тогда, раз моделей несколько, тогда методом перебора искать лучшую комбинацию причинно-следственной связи

R2 и Пирсон - это есть одно и тоже. Ее не рекомендуют использовать. Попробуйте пакет , там есть много других метрик типа mse, made, mae etc

Не совсем понятно, какова итоговая цель. Автоматизировать процесс сравнения? Если так, можно написать скрипт, таким образом, что бы расчеты повторялись, независимо от исходных данных (2 модели на вход или 22) Можно написать свою функцию и вызывать ее (подключать или через box)

BIC, AIC посчитал конечно.

Спасибо, думаю то что надо.

Результаты на каком наборе данных посчитаны: тренировочный, тестовый? Если на тренировочном то есть риск оверфита, если на тестовом то это получается не совсем «тестовый», потому что вы его уже на выбор модели «потратили». Для выбора модели лучше что-то другое использовать, типа кросс-валидации, или отдельный набор данных

А чем плохо потратить на тестовом наборе?

Тем что это теперь не тестовый в каноническом виде, так как данные использовались для выбора модели. На «настоящем» тестовом качество предсказания может оказаться похуже. Но это конечно меньший грех чем считать на тренировочном.

Что такое настоящий тестовый набор? Типа на другом тестовом результаты могли бы выбрать другую модель? Тут уже вопрос репрезентативности выборки и других характеристик распределения данных

В моём понимании тестовый набор данных это набор данных который используется на самом последнем этапе для честной оценки качества модели, после этого этапа никакие подкрутки модели (в том числе выбор параметров или архитектуры) уже недопустимы

Мы это называем валидационный)

Не буду спорить, так как на это есть различные мнения https://stats.stackexchange.com/questions/525697/why-is-it-that-my-colleagues-and-i-learned-opposite-definitions-for-test-and-val

Правильно я понимаю, что истинная функция неизвестна в принципе и просто какие-то N случайных датасетов, найденных «на улице»? Вопрос: можно ли оценить их схожесть с неизвестным эталоном? Я бы сказал что невозможно. Нельзя ответить на вопрос, который даже не сформулирован. Пример: есть 7 ответов от моделей, в какой день празднуют Новый год. Ответы от пн до вс. Какой верный?

Почти. Истинная функция не известна -- это да. Но с датасетами там сложнее. Просто посчитаны модели в сторонней програме (не мной), и вывалили в файл.

Раньше обычно на сцене появлялся экспат, тыкал пальцем и говорил «зуб даю, я ее узнал» и получал бонус. Но теперь правила игры поменялись.

Ну так я за зубом прийти могу)) Поэтому не появляются.

Модели «доллар по 200»? Если метрик обучения нет — ну посчитайте отклонения от исходных данных, если есть такие точки, и ткните пальцем. Эффект примерно такой же, «мнк линейкой на глаз». Кому не понравится — пусть свою методу дает. Самое время место достать из ящика шар принятия решений.

Нет, с моделями доллар по 200 всё проще. Нет. Варианты расчёта для принятия решения. Так понимаю факторы одни, только разница где берут и за какое время.

Ну хорошо, проведем мысленный эксперимент. Снимем крышку с ящика моделей. А там видим вот что: Бородатые дядьки саентологи сидят в пабе, пьют пиво, кидают дартс и записывают результаты в качестве предикта. В конце обертывают ленточкой и отдают Вам, а полученные деньги передают бармену. Что-то меняется в ощущениях исходного вопроса?

Хм. Хотел написать - Не меняется. Вроде на эти грабли давно не наступал. Похоже наступил. Буду думать.

Я просто выступил оппонентом по исходному тексту. Устойчивая конструкция не должна рухнуть от легкого касания.

Это отличные вопросы. В том то и дело, не уверен что конструкция рухнула, по крайней мере вижу пути по её упрочнению.

Как всегда, взгляд со стороны помог. Особенно если это взгляд опытного человека.

Я на выходных тоже немного с бетоном возился.

Кто написал -- не помню. Любая история - это одна и таже история.

Трасса 60)

Дискретка? Или бетон строительный?)

Вы уверены что формулировка звучит именно так?

Ilya Shutov

А чего Арматура не связана?)) и ячейки слишком мелковаты, как для обычного строительства. Будто бункер льёте ?)

хороший вопрос! ждал подобного. потому что картинка не моя, а демонстрационная :) https://beton-trans.ru/catalog/beton/beton-v-12-5-m-150/

))) Строго говоря здесь две формулировки. В первой абсолютно уверен, не помню кто автор изречения. Во второй, настолько насколько можно быть уверенным в своей памяти.

это вольный пересказ "четырех историй" Борхеса