Здравствуйте. У меня вопрос по сохраняемым и загружаемым таблицам квантования. Правильно

ли я понимаю, что в файл csv сохраняются бордеры (разделители), которые являются по сути центройдами, т.е. 1/2 между расчетными границами (отсчётами), получаемыми при квантовании?
И ещё, может кто помочь на словах описать алгоритмы квантования, используемые в CatBoost?

здравствуйте! нет, то именно границы между бинами вот тут есть пояснения про алгоритмы вычисления границ https://catboost.ai/en/docs/concepts/quantization

Конечно я ознакомился со всей доступной информацией. И изучив предмет, задаю вопросы. Может кто предметно по ним подсказать?

Так а что еще подсказать? Евгений ответил что границы и сохраняются.

Формулы слишком абстрактны. К примеру MaxLogSum и GreedyLogSum имеют вообще одинаковые формулы и описание. В формулах идёт речь о весах, но не ясно, как они были получены. Поэтому и хотелось алгоритм по пунктам. Метод Median - воспроизводим - обычное квантование по сути, а вот с остальными не разобрался.

Выше вы задали вопрос о том что сохраняется в файл, а не про алгоритмы расчета границ. > К примеру MaxLogSum и GreedyLogSum имеют вообще одинаковые формулы и описание. Нет. Читайте внимательнее. В MaxLogSum: > Maximise the value of the following expression inside each bucket: В GreedyLogSum > Maximize the greedy approximation of the following expression inside every bucket: > В формулах идёт речь о весах, но не ясно, как они были получены. Почему неясно если в документации явно написано что имеется ввиду под weight ?

weight — это кратность попадания значения в бин n — число разных значений

Что такое "бин"? n - число разных значений чисел? Я думал, что n - число разделителей, которых меньше на один, относительно входных настроек, которыми задаётся число интервалов.

> Что такое "бин"? От англ. “Bin” - “корзина”. Границы как бы делят числовую прямую на эти самые “корзины” (только по краям границы будут односторонними). > n - число разных значений чисел? n - это число объектов/семплов из исходной выборки для которых значение рассматриваемого признака попало в эту “корзину”.

Хорошо, корзина так корзина, но как установить предварительно границы для подсчета попаданий?

Вообще в большинстве случаев лучше положиться на автоматический расчет, но если вам очень нужно, можно их задать и вручную с помощью параметра input_borders - https://catboost.ai/en/docs/references/training-parameters/#input_borders

Конечно я знаю про эти параметры. Мне интересен алгоритм расчета.

Алгоритмы расчета описаны тут - https://catboost.ai/en/docs/concepts/quantization

Там нет алгоритма - посмотрите внимательно - с этого и начали.

Ну там описаны принципы как подбираются границы в зависимости от режима. Совсем технические подробности можно почитать в исходном коде: https://github.com/catboost/catboost/tree/29361d80376a4b233b5bc786ff4e9af9e09fed75/library/cpp/grid_creator

В исходном коде накручено ООП, так что сходу ничего не понятно, так как много дополнительных действий, в том числе проверки на ошибки пользователя. Поэтому и спросил, может кто из разработчиков может на пальцах разъяснить.

если на пальцах, то там решаются задачки дискретной оптимизации, описанные в доке по ссылке, которую присылали мы с Андреем где-то динамика, где-то жадный метод, где-то по определению

Если это оптимизационные задачи, то какая метрика используется для оценки качества?

см. доку по ссылке ) формулки с сигмами — вот это оно

С этого и начинал - прочтите, что писалось ранее.

кто-то в одном шаге от медали по душности