Всем привет, кто-нибудь знает что за ошибка при обучении кэтбуста

на GPU? Несколько итераций обучает и вылетает с этой ошибкой. Причем с другими параметрами все работает.


Application terminated with error: ??+0 (0x7F7E63F5EB7F)
??+0 (0x7F7E6539C4FB)
??+0 (0x7F7E6539D888)
??+0 (0x7F7E641095B7)
??+0 (0x7F7E64109467)
??+0 (0x7F7F074B96DB)
clone+63 (0x7F7F071E271F)

(TCatBoostException) catboost/cuda/cuda_lib/cuda_base.h:243: CUDA error 700: an illegal memory access was encountered
uncaught exception:
address -> 0x4514fdb20210
what() -> "catboost/cuda/cuda_lib/cuda_base.h:243: CUDA error 700: an illegal memory access was encountered"
type -> TCatBoostException

1 ответов

31 просмотр

Проверьте, не переполняется ли память GPU и не занята ли она другим процессом например gpustat -i или nvidia-smi Т.е. перед запуском обучения память должна быть свободна, а при обучении не подходить к верхней границе

Похожие вопросы

Обсуждают сегодня

1. https://www.kaggle.com/code/ahmadrezagholami2001/housing-estimation-linear-regression 2. https://www.kaggle.com/code/ahmadrezagholami2001/uncovering-quality-in-wines-logis...
Ahmadreza
1
Hi! Could you please upvote my new notebook? thanks a lot. https://www.kaggle.com/code/melissamonfared/anime-character-generation-dsgan-gan
məru
4
upvote plz https://www.kaggle.com/code/bassetkerouche/swapping-face?scriptVersionId=207300096
benkerrouche Statoinary
1
-- Привет всем. -- Есть csv, проблема в том что он содержит очень много повторов по столбцам и по строкам. -- Решил перекинуть это в базу данных, чтобы было проще. Но я не ша...
Oleg Ivanov
1
Как считаете - вопрос на собесе: «Как быстрее всего запустить ec2 машину в aws (в чистом аккаунте) и показать вывод от любой команды с нее» не очень ли сложный для условного м...
Sergey
50
Господа, у меня вопрос. Что вообще такое этот ваш data science и data scientists? А то гуглю, а мне какую-то расплывчатую фигню говорят.
Inkosta
44
Hi could you please help me with my two new projects? https://www.kaggle.com/code/hesankazemnia/rice-image-classification-cnn-pytorch https://www.kaggle.com/code/hesankazemnia...
Hesan
6
Исходя из ваших комментариев, получается, что чтобы получить марты в CH из данных в PG, неправильно тянуть сырые данные в CH и там их обрабатывать, лепить справочники и джойни...
unhingedlunatic
42
hi, Can you upvote? https://www.kaggle.com/code/durjoychandrapaul/rag-q-a-system-by-langchain-huggingface-for-pdf?scriptVersionId=204704280
A
1
Could you upvote and comment please? https://www.kaggle.com/code/tatianapetrushkevich/beginner-images https://www.kaggle.com/code/tatianapetrushkevich/python-for-beginners1 ...
Tazziyana
7
Карта сайта