215 похожих чатов

Всем добрый вечер. Вопрос такой - лосс начиная с определенной

эпохи начинает выдавать nan, как можно фиксить при условии что градиент клиппер уже прикручен?
Пробовал стартовый лернинг рейт меньше делать - лосс хуже к минимуму сходиться.
Увеличение размера батча тоже не помогло.

10 ответов

13 просмотров

Если просто есть батч, на котором все становится плохо - скипать конкретный батч)

Проверить достаточно ли могуч клепатель, проверить тензора на инфы и наны

💀-👁 Автор вопроса
💀 👁
Как проверить могучесть клиппера?

Клепать посильнее и посмотреть на результат, например. Может там градиенты множатся на 0.99 в качестве "клиппинга"

💀-👁 Автор вопроса
Timofey Naumenko
Если просто есть батч, на котором все становится п...

Поставил каунтер на колличество батчей и с определенного момента чисто начинает расти. Так что это все-таки градиентный взрыв

💀-👁 Автор вопроса
Ingvar
Клепать посильнее и посмотреть на результат, напри...

Я пробовал clip_value как гиперепараметр оптимизировать оптуной, но пока он либо отсекает почти все и моделька не обучается либо просто не работает

Начать с проверки в какой операции вылазят наны, и логгинга весов/градиентов

💀-👁 Автор вопроса
Evgenii Zheltonozhskii🇮🇱
Начать с проверки в какой операции вылазят наны, и...

Как это сделать по-умному? Потому что мне на ум пришло только logging.info(*args) в каждый слой запихать

💀 👁
Как это сделать по-умному? Потому что мне на ум пр...

Хз, я прямо в тензорборде нормы рисую, а для проверки какая операция нан дала у торча есть встроенный инструмент есть

Похожие вопросы

Обсуждают сегодня

Типа вызывать GetParent и проверять на соответствие GetModuleHandle?
The Bird of Hermes
67
Do any of you guys have interesting projects one could join? I'm a Middle Full-Stack developer (JS/TS, React & Node)
Lev Shapiro
40
$res = json_decode($наша строка из респонса); $res1 = array_map(fn($o) => $o->name, $res->breadcrumbs[0]->entities); Как такое будет на Хаскеле?.. В начале весь джейсон, в ко...
Хаскель Моисеевич Гопник
27
В чем сила брат, в NASM или FASM?
Isaac Kleiner
18
Вопрос по диагностике ошибок (я знаю в чем, в данном конкретном примере, я знаю, как исправить, пример модельный, понятно, что в реальности бывает намного запутаннее). module...
ⰄⰎⰋⰐⰐⰑⰛⰤⰧⰧⰩⰄ ⰊⰑⰁⰓⰡⰛⰦⰕⰫ
11
А чем вам питонисты не угодили?😂
.
79
Есть какой-нибудь для Delphi/FPC T*Compression(Decompression)Stream на базе LZ4/Zstd/любой другой быстрый(и хорошо сжимающий) алгоритм А ещё лучше в pure pascal А ещё лучше од...
notme
52
Хтось використовував Vapor на Windows?
Jaroshevskii
15
Какое виндузовое сообщение приходит TTabSheet, что риэлайняться контролы на нем, даже у которых парент другой? Ситуация: открываю форму - кнопок нет, перелистываю на другой т...
Катерина Свиридова
7
Тут кста кто-нибудь NeoVim использует?
Simple Sorcerer
13
Карта сайта