Похожие чаты

Предположим, что мы на каком-то среднем fc слое с весами

w и размерностью [in_dim, out_dim]. Как получить градиенты по весам?
пусть выход с предыдущего слоя и вход в слой ‘a’, а градиенты пришедшие с следующего слоя ‘grads’. размерность a = [b, in_dim], размерность градиентов = [b, out_dim].
Ну здесь везде есть b = batch_size

6 ответов

30 просмотров

Так ты предлагаешь клипать градиенты активаций?

Эм-Константинов Автор вопроса
Evgenii Zheltonozhskii🇮🇱
Так ты предлагаешь клипать градиенты активаций?

тут вопрос в реализации. просто придётся вмешиваться теперь не в оптимайзер, а ещё и в слои. видно поэтому они это и не сделали

Эм Константинов
тут вопрос в реализации. просто придётся вмешивать...

Типа переписать куда (или ТПУ) кернелы чтобы клипать градиенты в процессе вычисления?)

Эм-Константинов Автор вопроса
Evgenii Zheltonozhskii🇮🇱
Типа переписать куда (или ТПУ) кернелы чтобы клипа...

зачем так сложно. можно сделать слой, который в прямом распространении f(x) = x а в обратном f(grads) = hardtanh_parametrized(grads, param)

Эм-Константинов Автор вопроса
Evgenii Zheltonozhskii🇮🇱
Ну это опять таки градиенты активации клипать

согласен, мне тоже не очень нравится ) я про третий пункт

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
@Benzenoid can you tell me the easiest, and safest way to bu.y HEX now?
Živa Žena
20
This is a question from my wife who make a fortune with memes 😂😂 About the Migration and Tokens: 1. How will the old tokens be migrated to the new $LGCYX network? What is th...
🍿 °anton°
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
What is the Dex situation? Agora team started with the Pnetwork for their dex which helped them both with integration. It’s completed but as you can see from the Pnetwork ann...
Ben
1
Гайс, вопрос для разносторонее развитых: читаю стрим с юарта, нада выделять с него фреймы с определенной структурой, если ли чо готовое, или долбаться с ринг буффером? нада у...
Vitaly
9
Anyone knows where there are some instructions or discort about failed bridge transactions ?
Jochem
21
@lozuk how do I get my phex copies of my ehex from a atomic wallet, to move to my rabby?
Justfrontin 👀
11
Карта сайта