Друзья, кто может помочь со связкой torch + CUDA. Я

Question

Big Data Science :: AI / Big Data / Machine Learning / MLOps

Друзья, кто может помочь со связкой torch + CUDA. Я

такой обучаю модель в jupyter notebook сутки.
Потом всё падает к хренам с ошибкой вот такого вида
RuntimeError: CUDA error: device-side assert triggered
CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect.
For debugging consider passing CUDA_LAUNCH_BLOCKING=1.
И дальше, что бы я ни делал с кудой (включая попытки сохранить модель на диск или перевести её на CPU), этот ассёрт продолжает тригериться.
Есть очевидное решение - перезапустить блокнот, и ассёрт тогда сбросится. Но я потеряю веса модельки, и мне придётся ещё сутки её обучать.

Кто-нибудь знает, как сбросить ассёрты CUDA без перезапуска окружения?

#database #programming #russian #software

0

19.11.2021

6 ответов

29 просмотров

Sergei L

Ошибка ток на долгом старте проявляется (спустя N ч обучения)?

0

19.11.2021

David Dalé Автор вопроса

Sergei L
Ошибка ток на долгом старте проявляется (спустя N ...

Да, но это может быть связано не со временем, а с тем, что в датасете какая-то редкая гадость попалась.

0

19.11.2021

Sergei L

David Dalé
Да, но это может быть связано не со временем, а с ...

Ну да. Следующий вопрос был бы мой про, все ли ок с лейблами/лайк около

0

19.11.2021

David Dalé Автор вопроса

Sergei L
Ну да. Следующий вопрос был бы мой про, все ли ок ...

Этот вопрос очень разумный, но я не прошу найти причину, почему ассёрт сработал. Это я могу и сам раздебажить. Меня интересует другое: как вернуть доступ к куде, если он всё-таки сработал. А именно, возможно ли это сделать после перезапуска окружения.

0

19.11.2021

Sergei L

David Dalé
Этот вопрос очень разумный, но я не прошу найти пр...

В вашем контексте - думаю, что так нельзя. У вас, вероятно сам куда процесс, который хранит данные в итоге сдох, скорее всего ошибка обработана несовсем корректно => оно не может сдохнуть до конца само и память могла просто зависнуть, не освободившись с привязкой к процессу. Т.е. формально оно уже мертво с концами, и тупо "зависло в воздухе". Но я глубоко куда не знаю, может, кто получше в нее умеет. =[ Если вдруг найдете способ - было бы интересно взглянуть, но я бы дал низкую вероятность возможности восстановиться, к сожалению

0

19.11.2021

Alex Yurasov · Accepted Answer

Alex Yurasov

Сохрани модели через pickle

0

19.11.2021

215 похожих чатов

Друзья, кто может помочь со связкой torch + CUDA. Я

6 ответов

Похожие вопросы