У кого есть опыт замера неопределённости/неуверенности предсказаний бустинга в задаче

регрессии?

Пока самое разумное что нашёл на эту тему - https://arxiv.org/pdf/2006.10562.pdf с сайта катбуста

3 ответов

43 просмотра

Есть такой пример: import numpy as np import pandas as pd import catboost from sklearn.model_selection import train_test_split from sklearn.metrics import mean_squared_error from sklearn.datasets import load_boston boston = load_boston() X = pd.DataFrame(boston.data, columns=boston.feature_names) y = boston.target X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=12345) model = catboost.CatBoostRegressor(iterations=100, learning_rate=0.1, depth=3, loss_function='RMSE') model.fit(X_train, y_train) preds = model.predict(X_test) print('RMSE:', mean_squared_error(y_test, preds) ** 0.5) print('Неопределённость предсказаний:') print('Среднее:', np.mean(model.get_feature_importance(type='PredictionValuesChange'))) print('Медиана:', np.median(model.get_feature_importance(type='PredictionValuesChange'))) print('Максимум:', np.max(model.get_feature_importance(type='PredictionValuesChange'))) print('Минимум:', np.min(model.get_feature_importance(type='PredictionValuesChange')))

Так? from catboost import EFstrType def get_forecast_confidence(model, X): """ :param model: Catboost model :param X: dataframe with features :return: forecast confidence for each object """ pred = model.predict(X) pred_std = np.sqrt(model.get_feature_importance(type=EFstrType.PredictionValuesChange)) return pred, pred_std

BOGDAN- Автор вопроса

Похожие вопросы

Обсуждают сегодня

Hi! Could you please upvote my new notebook? thanks a lot. https://www.kaggle.com/code/melissamonfared/anime-character-generation-dsgan-gan
məru
4
upvote plz https://www.kaggle.com/code/bassetkerouche/swapping-face?scriptVersionId=207300096
benkerrouche Statoinary
1
-- Привет всем. -- Есть csv, проблема в том что он содержит очень много повторов по столбцам и по строкам. -- Решил перекинуть это в базу данных, чтобы было проще. Но я не ша...
Oleg Ivanov
1
Как считаете - вопрос на собесе: «Как быстрее всего запустить ec2 машину в aws (в чистом аккаунте) и показать вывод от любой команды с нее» не очень ли сложный для условного м...
Sergey
50
Господа, у меня вопрос. Что вообще такое этот ваш data science и data scientists? А то гуглю, а мне какую-то расплывчатую фигню говорят.
Inkosta
44
Hi could you please help me with my two new projects? https://www.kaggle.com/code/hesankazemnia/rice-image-classification-cnn-pytorch https://www.kaggle.com/code/hesankazemnia...
Hesan
6
Исходя из ваших комментариев, получается, что чтобы получить марты в CH из данных в PG, неправильно тянуть сырые данные в CH и там их обрабатывать, лепить справочники и джойни...
unhingedlunatic
42
hi, Can you upvote? https://www.kaggle.com/code/durjoychandrapaul/rag-q-a-system-by-langchain-huggingface-for-pdf?scriptVersionId=204704280
A
1
Could you upvote and comment please? https://www.kaggle.com/code/tatianapetrushkevich/beginner-images https://www.kaggle.com/code/tatianapetrushkevich/python-for-beginners1 ...
Tazziyana
7
Коллеги, приветствую! Появилась не совсем тривиальная задача реализовать в nginx редирект HTTPS —> HTTP. Да, именно так, а не наоборот. Мы разрабатываем embedded устройство,...
Никита
24
Карта сайта